作者: 乔克斯
查看: 27367|回复: 46
打印 上一主题 下一主题

[源码] 【自定义数据采集器】C#网页数据采集软件NETSpider

  [复制链接]
跳转到指定楼层
楼主
乔克斯 发表于 2015-1-15 23:02:36 | 只看该作者 |只看大图 回帖奖励 |正序浏览 |阅读模式
查看: 27367|回复: 46
【自定义数据采集器】C#网页数据采集软件NETSpider
说明:
非常经典而且强大的一款开源数据采集软件,有任务管理系统,多线程运行机制以及任务运行状态的保存。任务以及文章数据存储:xml格式。

效果图:
1.主界面。

2.任务计划编辑。


采集方面:
  • 支持任务分类保存和任务后期编辑以及数据的查看
  • 支持对任务的开始、暂停、重置以及复制等操作
  • 单个任务自定义线程数量
  • 支持采集内容文件的下载
  • 支持登录后采集,手动设置cookie和在线捕获cookie
  • 支持翻页采集和指定范围采集
  • 支持测试采集

发布方面:
  • 支持发布到文本、excel文件、access数据库、Mysql数据库和MS SqlServer数据库并支持发布到网站
  • 导出时会有进度显示剩余数据

高级功能:
  • 采集日志的自动保存和错误重试次数的设置
  • 采集完成后要触发的动作设置
  • .Net的数据采集软件并不多,这一个算是很好的了,代码结构清晰,拓展性很强,很容易拿来做自己的采集产品。
  • 对于多线程任务的运行也支持的很好,不管是拿来学习研究还是二次开发都是很好的源码项目,注意添加任务要先选中一个分类哦!

案例源码下载:

评分

参与人数 1金钱 +2 收起 理由
xulong20006 + 2 赞一个!

查看全部评分

分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
收藏收藏12 转播转播
回复 论坛版权

使用道具 举报

推荐
 楼主| 乔克斯 发表于 2015-1-30 18:36:01 | 只看该作者
hardman888 发表于 2015-1-30 15:05
下载要扣积分,哎

如果下载不扣金币的话,金币就没意义咯,你可以看到很多资源都是1金币的。所以只要经常来论坛签到,做任务,发帖,回帖,上传资源。都是消耗的起的。
47#
wdqq200612 发表于 2022-5-22 09:46:25 | 只看该作者
好东西,下来学习一下
46#
小城A 发表于 2020-3-7 20:37:39 | 只看该作者
听说回帖能加金币吗?
45#
hehe1988 发表于 2020-3-3 18:14:58 | 只看该作者
好代码,是不用说谢谢的?不是
44#
ch_tao 发表于 2019-8-6 11:00:35 | 只看该作者
厉害,不是一个人完成的吧
43#
fuzhouses 发表于 2019-8-6 08:33:45 | 只看该作者
好厉害的样子啊
42#
jhyjhy213 发表于 2019-8-6 08:31:52 | 只看该作者
感谢分享
回复

使用道具 举报

41#
win188 发表于 2019-8-4 23:57:36 | 只看该作者
学习一下
回复

使用道具 举报

40#
kelvin9926 发表于 2019-4-19 22:25:10 | 只看该作者
楼主辛苦,感谢分享!!!
39#
maker316 发表于 2019-3-15 15:07:46 | 只看该作者
厉害啊{:4_205:}{:4_205:}{:4_205:}
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 加入CSkin博客

本版积分规则

QQ|申请友链|小黑屋|手机版|Archiver|CSkin ( 粤ICP备13070794号

Powered by Discuz! X3.2  © 2001-2013 Comsenz Inc.  Designed by ARTERY.cn
GMT+8, 2024-11-25 23:08, Processed in 0.579854 second(s), 35 queries , Gzip On.

快速回复 返回顶部 返回列表