CSkin博客

标题: 【自定义数据采集器】C#网页数据采集软件NETSpider [打印本页]

作者: 乔克斯 时间: 2015-1-15 23:02
标题: 【自定义数据采集器】C#网页数据采集软件NETSpider

【自定义数据采集器】C#网页数据采集软件NETSpider

说明：
非常经典而且强大的一款开源数据采集软件，有任务管理系统，多线程运行机制以及任务运行状态的保存。任务以及文章数据存储：xml格式。

效果图：
1.主界面。

2.任务计划编辑。

采集方面：

支持任务分类保存和任务后期编辑以及数据的查看
支持对任务的开始、暂停、重置以及复制等操作
单个任务自定义线程数量
支持采集内容文件的下载
支持登录后采集，手动设置cookie和在线捕获cookie
支持翻页采集和指定范围采集
支持测试采集

发布方面：

支持发布到文本、excel文件、access数据库、Mysql数据库和MS SqlServer数据库并支持发布到网站
导出时会有进度显示剩余数据

高级功能：

采集日志的自动保存和错误重试次数的设置
采集完成后要触发的动作设置
.Net的数据采集软件并不多，这一个算是很好的了，代码结构清晰，拓展性很强，很容易拿来做自己的采集产品。
对于多线程任务的运行也支持的很好，不管是拿来学习研究还是二次开发都是很好的源码项目，注意添加任务要先选中一个分类哦！

案例源码下载：

网页数据采集软件NETSpider.rar (1.82 MB, 下载次数: 598, 售价: 1 金钱)

作者: 我来拾豆豆 时间: 2015-1-16 08:17
顶。。。。沙发耶。。。

作者: evilatom 时间: 2015-1-16 09:31
抢我沙发。。。。。不厚道

作者: 190724427 时间: 2015-1-16 14:23
好东西~~~~支持！！！！

作者: hhjj3388 时间: 2015-1-25 12:41
真是厉害·1~！~

作者: hardman888 时间: 2015-1-30 15:05
下载要扣积分，哎

作者: 乔克斯 时间: 2015-1-30 18:36

hardman888 发表于 2015-1-30 15:05
下载要扣积分，哎

如果下载不扣金币的话，金币就没意义咯，你可以看到很多资源都是1金币的。所以只要经常来论坛签到，做任务，发帖，回帖，上传资源。都是消耗的起的。

作者: justiit 时间: 2015-5-28 15:57
厉害厉害

作者: songtao10 时间: 2015-6-7 22:14
好厉害的样子啊

作者: yic_sunny 时间: 2015-6-11 10:18
东西非常好！

作者: ririkaka 时间: 2015-6-11 10:37
收下了，学习下。

作者: yyxf 时间: 2015-6-11 13:23
好东西，下来学习一下

作者: yic_sunny 时间: 2015-6-12 13:58
采集数据不是非常容易理解。

作者: CSdmin 时间: 2015-6-13 08:35
好东西，收藏备用

作者: polite0803 时间: 2015-6-15 19:37
完整源码要赞一个的

作者: playzwd 时间: 2015-7-5 09:51
必须回复下，看看能不能用

作者: 864548336 时间: 2015-7-5 10:00
很好很好

作者: qq385723790 时间: 2015-12-26 21:26
谢谢分享

作者: qq385723790 时间: 2015-12-26 21:27
谢谢分享

作者: defrt3 时间: 2015-12-27 13:45
好像很厉害的样子啊

作者: 大法师 时间: 2016-1-26 22:44
对https的网页支持怎么样》现在很多网站用的框架不好采集

作者: suncathay 时间: 2016-1-27 08:34
好东西~~~~支持！！！！

作者: liqud 时间: 2016-1-27 09:12
这个东西挺好的，拿来学习一下网络下载知识

作者: edgeskys 时间: 2016-2-4 00:44
好东西~~~~支持！！！！

作者: schlang 时间: 2016-2-4 08:28
支持哦！

作者: 00686cn 时间: 2016-4-12 15:03
这个需要学习下啊，谢谢分享

作者: logo005 时间: 2016-5-2 14:13
C#的网页爬虫真的不多啊，见了好多，几乎都是这个版本修改过去的，其实这个做得太庞大了，有精小一点的更好

作者: checker110 时间: 2016-5-14 14:36
顶一个试试

作者: agentwx 时间: 2016-6-10 20:56
研究看看

作者: 纳兰小寒 时间: 2016-8-3 00:41
学习一下代码写法

作者: 杨员外 时间: 2016-11-23 11:51
这个标记一下，以后用来

作者: jane_008 时间: 2018-12-27 16:48
编译出错啊！

作者: xhlxh 时间: 2019-1-10 14:27
好东西~~~~支持！！！！

作者: ab12cd34 时间: 2019-1-28 16:06
不知道能不能只采集图片

作者: wit0240 时间: 2019-3-15 08:19
非常需要的好东西

作者: 山水美 时间: 2019-3-15 09:23
正需要这个，下载研究一下，非常感谢！大大的支持！

作者: 山水美 时间: 2019-3-15 11:12
如果是这种类型的网站，可以采集数据吗？地址： http://106.37.208.233:20035/

作者: maker316 时间: 2019-3-15 15:07
厉害啊

{:4_205:}{:4_205:}{:4_205:}

作者: kelvin9926 时间: 2019-4-19 22:25
楼主辛苦，感谢分享！！！

作者: win188 时间: 2019-8-4 23:57
学习一下

作者: jhyjhy213 时间: 2019-8-6 08:31
感谢分享

作者: fuzhouses 时间: 2019-8-6 08:33
好厉害的样子啊

作者: ch_tao 时间: 2019-8-6 11:00
厉害，不是一个人完成的吧

作者: hehe1988 时间: 2020-3-3 18:14
好代码，是不用说谢谢的？不是

作者: 小城A 时间: 2020-3-7 20:37
听说回帖能加金币吗？

作者: wdqq200612 时间: 2022-5-22 09:46
好东西，下来学习一下

欢迎光临 CSkin博客 (http://bbs.cskin.net/)