爬虫因为ip地址被封了怎么办

1 检查机器人排除协议
在爬取或抓取网站前，确保目标网站允许从它们的网页采集数据。检查机器人排除协议 (robotstxt) 文件并遵守网站规则。
2 使用代理IP
使用 IP 代理爬虫，没有代理，几乎不可能进行网络爬取。为获得最佳结果，请选择具有大型爬虫代理 IP 池（爬虫 IP 代理池）和大量位置的代理提供商。
3 轮换 IP 地址
使用代理池后，轮换 IP 地址非常重要。如果用户从相同 IP 地址发送过多请求，目标网站很快就会识别出并对用户进行限制，而使用代理轮换使可以将用户伪装成多个不同互联网用户，降低被阻止的可能性。
4 使用真实的用户代理
大多数托管网站的服务器都可以分析爬虫程序发出的 >有很多小白在学习Python的初期，都会遇到爬虫IP被限制的情况，那么在面对这种突发情况，有什么好的解决办法吗？别急，IPIPGO教你三招！

（一）降低访问速度，减小对于目标网站造成的压力。过快的访问会导致IP被封，我们首先要检测出网站设置的限制速度阈值，这样我们才可以设置合理的访问速度，建议不要设固定的访问速度，可以设置在一个范围之内，因为过于规律而被系统检测到，也会导致IP被封。有时候平台为了阻止频繁访问，会设置IP在规定时间内的访问次数，超过次数就会禁止访问。

（二）设置代理IP辅助爬取。降低访问速度难以避免会影响到爬取效率，如果抓取速度过慢，就失去了使用爬虫抓取的优势了。这时就可以使用代理IP，来规避网站对IP的检测来，通过切换不同的IP爬取内容，让代理服务器去帮我们获得网页内容，然后再转发回我们的电脑。选择代理时最好是IPIPGO这种住宅代理，真实家庭IP地址，不易被网站拦截。

（三）user_agent 伪装和轮换

不同浏览器的不同版本都有不同的user_agent，是浏览器类型的详细信息，也是浏览器提交>