【自定义数据采集器】C#网页数据采集软件NETSpider 说明:
非常经典而且强大的一款开源数据采集软件,有任务管理系统,多线程运行机制以及任务运行状态的保存。任务以及文章数据存储:xml格式。
效果图:
1.主界面。
2.任务计划编辑。
采集方面:
- 支持任务分类保存和任务后期编辑以及数据的查看
- 支持对任务的开始、暂停、重置以及复制等操作
- 单个任务自定义线程数量
- 支持采集内容文件的下载
- 支持登录后采集,手动设置cookie和在线捕获cookie
- 支持翻页采集和指定范围采集
- 支持测试采集
发布方面:
- 支持发布到文本、excel文件、access数据库、Mysql数据库和MS SqlServer数据库并支持发布到网站
- 导出时会有进度显示剩余数据
高级功能:
- 采集日志的自动保存和错误重试次数的设置
- 采集完成后要触发的动作设置
- .Net的数据采集软件并不多,这一个算是很好的了,代码结构清晰,拓展性很强,很容易拿来做自己的采集产品。
- 对于多线程任务的运行也支持的很好,不管是拿来学习研究还是二次开发都是很好的源码项目,注意添加任务要先选中一个分类哦!
案例源码下载:
|