网站登录,本质上就是登录完成之后服务器给客户端一个凭据,这个凭据可以存在cookie里,也可以存在别的地方,客户端下次请求网页的时候带上这个凭据,服务端就会认为这个客户端是登录过的。所以对于爬虫来说,生成cookies是代理使用成为了一个必须要做的事情。 完整实例 我们可以通过redis来存储结果和输入信息,然后用搭建web接口实现爬虫系统的访问。 框架分为三个部分:
代码打包下载[url=https://www.yuque.com/attachments/yuque/0/2020/zip/1313150/1591692849294-4a39e53f-1548-4f10-864e-9b7d02193db5.zip] |