爬虫为何要设置User Agent

   很多网站是不喜欢被爬虫程序访问，所以设置反爬检测访问的对象。如果是使用的爬虫程序进行非人点击访问，它就会禁止你继续访问。所以为了要让程序可以正常运行，我们有时候需要隐藏自己的爬虫程序的身份。此时，我们就可以使用ua来伪装自己的爬虫行为避免网站识别到你进而把你拒绝了。User Agent存放于Headers中，服务器就是通过查看Headers中的User Agent来判断是谁在访问。

常规的ua有三种：pc端、ios移动端、android移动端。我们可以在程序中直接设置ua，然后执行命令就会随机生成ua。   UA已经设置好了，但是还应该考虑一个问题，程序的运行速度是很快的，如果我们利用一个爬虫程序在网站爬取东西，一个固定IP的访问频率就会很高，这不符合人为操作的标准，因为正常人是不可能进行如此频繁的访问。所以一些网站会对一个ip的访问次数设置限制，如果一个IP访问频率超过了次数，说明这个不是人在访问，而是一个爬虫程序。所以我们不仅要设置ua还要添加随机ip，后续我们会重点讲下代理ip在爬虫程序中的重要性。