作者: suger
查看: 59|回复: 0

[讨论] Scrapy关于item pipeline

[复制链接]
suger 发表于 2020-7-14 17:22:00 | 显示全部楼层 |阅读模式
查看: 59|回复: 0

当Item在Spider中被收集之后,它将会被传递到Item Pipeline,这些Item Pipeline组件按定义的顺序处理Item。
每个Item Pipeline都是实现了简单方法的Python类,比如决定此Item是丢弃而存储。以下是item pipeline的一些典型应用:
  • 验证爬取的数据(检查item包含某些字段,比如说name字段)
  • 查重(并丢弃)
  • 将爬取结果保存到文件或者数据库中
编写item pipeline
编写item pipeline很简单,item pipiline组件是一个独立的Python类,其中process_item()方法必须实现:
import somethingclass SomethingPipeline(object):    def __init__(self):            # 可选实现,做参数初始化等        # doing something    def process_item(self, item, spider):        # item (Item 对象) – 被爬取的item        # spider (Spider 对象) – 爬取该item的spider        # 这个方法必须实现,每个item pipeline组件都需要调用该方法,        # 这个方法必须返回一个 Item 对象,被丢弃的item将不会被之后的pipeline组件所处理。        return item    def open_spider(self, spider):        # spider (Spider 对象) – 被开启的spider        # 可选实现,当spider被开启时,这个方法被调用。    def close_spider(self, spider):        # spider (Spider 对象) – 被关闭的spider        # 可选实现,当spider被关闭时,这个方法被调用


启用一个Item Pipeline组件
为了启用Item Pipeline组件,必须将它的类添加到 settings.py文件ITEM_PIPELINES 配置,就像下面这个例子:
# Configure item pipelines# See http://scrapy.readthedocs.org/en/latest/topics/item-pipeline.htmlITEM_PIPELINES = {    #'mySpider.pipelines.SomePipeline': 300,    "mySpider.pipelines.ItcastJsonPipeline":300}


分配给每个类的整型值,确定了他们运行的顺序,item按数字从低到高的顺序,通过pipeline,通常将这些数字定义在0-1000范围内(0-1000随意设置,数值越低,组件的优先级越高)
重新启动爬虫
将parse()方法改为入门简介中最后思考中的代码,然后执行下面的命令:
scrapy crawl itcast


查看当前目录是否生成teacher.json

回复 论坛版权

使用道具 举报

您需要登录后才可以回帖 登录 | 加入CSkin博客

本版积分规则

QQ|申请友链|小黑屋|手机版|Archiver|CSkin ( 粤ICP备13070794号

Powered by Discuz! X3.2  © 2001-2013 Comsenz Inc.  Designed by ARTERY.cn
GMT+8, 2020-8-15 09:18, Processed in 0.411283 second(s), 33 queries , Gzip On.

快速回复 返回顶部 返回列表