作者: 乔克斯
查看: 26181|回复: 46
打印 上一主题 下一主题

[源码] 【自定义数据采集器】C#网页数据采集软件NETSpider

  [复制链接]
跳转到指定楼层
楼主
乔克斯 发表于 2015-1-15 23:02:36 | 只看该作者 |只看大图 回帖奖励 |倒序浏览 |阅读模式
查看: 26181|回复: 46
【自定义数据采集器】C#网页数据采集软件NETSpider
说明:
非常经典而且强大的一款开源数据采集软件,有任务管理系统,多线程运行机制以及任务运行状态的保存。任务以及文章数据存储:xml格式。

效果图:
1.主界面。

2.任务计划编辑。


采集方面:
  • 支持任务分类保存和任务后期编辑以及数据的查看
  • 支持对任务的开始、暂停、重置以及复制等操作
  • 单个任务自定义线程数量
  • 支持采集内容文件的下载
  • 支持登录后采集,手动设置cookie和在线捕获cookie
  • 支持翻页采集和指定范围采集
  • 支持测试采集

发布方面:
  • 支持发布到文本、excel文件、access数据库、Mysql数据库和MS SqlServer数据库并支持发布到网站
  • 导出时会有进度显示剩余数据

高级功能:
  • 采集日志的自动保存和错误重试次数的设置
  • 采集完成后要触发的动作设置
  • .Net的数据采集软件并不多,这一个算是很好的了,代码结构清晰,拓展性很强,很容易拿来做自己的采集产品。
  • 对于多线程任务的运行也支持的很好,不管是拿来学习研究还是二次开发都是很好的源码项目,注意添加任务要先选中一个分类哦!

案例源码下载:

评分

参与人数 1金钱 +2 收起 理由
xulong20006 + 2 赞一个!

查看全部评分

分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
收藏收藏12 转播转播
回复 论坛版权

使用道具 举报

推荐
 楼主| 乔克斯 发表于 2015-1-30 18:36:01 | 只看该作者
hardman888 发表于 2015-1-30 15:05
下载要扣积分,哎

如果下载不扣金币的话,金币就没意义咯,你可以看到很多资源都是1金币的。所以只要经常来论坛签到,做任务,发帖,回帖,上传资源。都是消耗的起的。
沙发
我来拾豆豆 发表于 2015-1-16 08:17:47 | 只看该作者
顶。。。。沙发耶。。。
回复

使用道具 举报

板凳
evilatom 发表于 2015-1-16 09:31:43 | 只看该作者
抢我沙发。。。。。不厚道
地板
190724427 发表于 2015-1-16 14:23:47 | 只看该作者
好东西~~~~支持!!!!
5#
hhjj3388 发表于 2015-1-25 12:41:02 | 只看该作者
真是厉害·1~!~
6#
hardman888 发表于 2015-1-30 15:05:39 | 只看该作者
下载要扣积分,哎
8#
justiit 发表于 2015-5-28 15:57:08 | 只看该作者
厉害厉害
回复

使用道具 举报

9#
songtao10 发表于 2015-6-7 22:14:29 | 只看该作者
好厉害的样子啊
10#
yic_sunny 发表于 2015-6-11 10:18:57 | 只看该作者
东西非常好!
您需要登录后才可以回帖 登录 | 加入CSkin博客

本版积分规则

QQ|申请友链|小黑屋|手机版|Archiver|CSkin ( 粤ICP备13070794号

Powered by Discuz! X3.2  © 2001-2013 Comsenz Inc.  Designed by ARTERY.cn
GMT+8, 2024-4-20 11:32, Processed in 0.647339 second(s), 35 queries , Gzip On.

快速回复 返回顶部 返回列表