作者: suger
查看: 104|回复: 0

[讨论] 爬虫解析中正则式表达的运用

[复制链接]
suger 发表于 2020-5-25 17:25:32 | 显示全部楼层 |阅读模式
查看: 104|回复: 0

正则表达式,又称正规表示式、正规表示法、正规表达式、规则表达式、常规表示法(英语:Regular Expression,在代码中常简写为regex、regexp或RE),计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串。在很多文本编辑器里,正则表达式通常被用来检索、替换那些匹配某个模式的文本。
前言
我看到最近几部电影很火,然后查了下在豆瓣是上的排行榜数据,发现豆瓣里面有各种经典和热映电影的排行榜,于是突发奇想的想爬取下豆瓣电影的排行榜,好像可以用一下最近学的东西实现我的需求,学习了正则表达式之后,想着要感受一下它在爬虫里面的效果和优缺点。
爬取内容:电影排行(rank),名称(name),演员(actor),评分(score),评价(comment),引用(quote)
步骤
## 利用正则表达式爬取豆瓣电影排行(rank,name,actor,score,comment,quote)# 导入库,做好存储预备工作import requestsimport reimport timeimport csvf = open('C:/Users/home/Desktop/3.csv','w+',encoding='utf-8',newline='')writer = csv.writer(f)writer.writerow(['rank','name','actor','score','comment','quote'])# 加入请求头,利用requests请求,爬取数据headers = {     'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36' }url = 'https://movie.douban.com/top250'# 利用findall方法筛选所需数据,将该步骤封装为函数get_infodef get_info(url):    res = requests.get(url, headers=headers)    ranks = re.findall(' <em class="">(.*?)</em>',res.text,re.S)    names = re.findall('<span class="title">(.*?)</span>.*?<span class="title">&nbsp;/&nbsp;(.*?)</span>.*?<span class="other">&nbsp;/&nbsp;(.*?)  /  (.*?)</span>',res.text,re.S)    actors = re.findall('<p class="">.*?(.*?)&nbsp;&nbsp;&nbsp;(.*?)...<br>.',res.text,re.S)    scores = re.findall('<span class="rating_num" property="v:average">(.*?)</span>',res.text,re.S)    comments = re.findall('<span property="v:best" content="10.0"></span>.*?<span>(.*?)人评价</span>.*?</div>',res.text,re.S)    quotes = re.findall('<span class="inq">(.*?)</span>',res.text,re.S)    for rank,name,actor,score,comment,quote in zip(ranks,names,actors,scores,comments,quotes):        writer.writerow([rank,name,actor,score,comment,quote])# 设循环语句,循环爬取数据,每次中断2s防止被绊if __name__ == '__main__':   urls = ['https://movie.douban.com/top250?start={}&filter='.format(str(i)) for i in range(0,250,25)]   for url in urls:       get_info(url)       time.sleep(2)


爬取结果
这是一个很简单的应用,也是自己学习之后的实践,在这个例子中,我是用到正则表达式来实现的,还有其他方法,而且可能简单,比如BeautifulSoup,XPath等方法,用在更加复杂的爬虫项目里面,需要的知识更多,方法更严谨,还需学习学习!更多知识爬虫知识可以关注https://www.16yun.cn/help/s_fq/


回复 论坛版权

使用道具 举报

您需要登录后才可以回帖 登录 | 加入CSkin博客

本版积分规则

QQ|申请友链|小黑屋|手机版|Archiver|CSkin ( 粤ICP备13070794号

Powered by Discuz! X3.2  © 2001-2013 Comsenz Inc.  Designed by ARTERY.cn
GMT+8, 2020-8-15 09:00, Processed in 0.534584 second(s), 33 queries , Gzip On.

快速回复 返回顶部 返回列表