爬虫怎么解决封IP的问题？

总的来讲，网站的反爬虫的策略有：检测爬取频率、并发连接数目、>

其中最常见的就是判断你的请求频率和并发数量，如果你在短时间内发送了大量的请求，也就是你的爬取速度很快的话，那么他就直接判断你是爬虫，这时候先把你IP封了再说，免得给自己的网站带来负担。

那么这些策略我们都如何应对呢？这几个方法都不同，

1、爬虫伪装浏览器点击

我们先理解一下网站的代码执行，首先我们向服务器发送请求，这时服务器的后台php、java都会执行，然后网站代码被发送到本地，在本地时js、ajax会在浏览器内核中执行。所以这时候我们就知道，爬虫不仅要欺骗phpjava代码、还要欺骗js和ajax代码。

2、使用代理

爬的太快会被封，是一定的。爬的太慢又非常耗时间。所以很多人都会说可以使用代理，所谓代理就是介于用户与网站之间的第三者：用户先将请求发到代理，然后代理再发到服务器，这样看起来就像是代理在访问那个网站了，实现一个不断的切换IP的假象。网上免费代理很多，但是能用的没几个，如果不想购买付费的代理，大家可以学习一下

3、降低访问频率

如果一直找不到好用的免费代理，又不想付费，最好的办法就是降低访问频率了。这样做可以达到与用代理一样的效果——防止被对方从访问量上看出来。比如：每抓取一个页面就休息随机几秒、限制每天抓取的页面数量。当然，在抓取效率上会差很多，因为数据量大的话，时间就会很长。

希望对你有帮助： 通俗解释一下 1什么是502 bad getway 报错 简单来说 502 是报错类型代码 bad getway 错误的网关 2产生错误的原因 连接超时 我们向服务器器发送请求 由于服务器当前链接太多，导致服务器方面无法给于正常的响应,产生此类报错 3解救的办法 最好的解决办法当然还是在服务器上做 对大家来说不太可能 那么我们有什么解救的方法呢？ 说白了 很简单 就是——刷新(不是一般的刷新哦) 刷新的原理 ：很多人可能不知道 刷新也是有两种的。 所谓刷新其实就是从服务器下载数据到本地的硬盘浏览器, 再从本地硬盘种读取数据到浏览器显示给我们看。 ①基本刷新：就是点击刷新或者使用F5快捷键 基本刷新只是从本地的硬盘重新拿取数据到浏览器，并不重新向服务器发出请求。 大部分用户很多时候都是这样刷新的，遇到502报错的就没有任何效果。 ②从服务器刷新： 如果你重新直接点击你想要浏览的网页链接，你会发现刚才还是显示502 bad getway的页面现在又可以正常浏览了！ 明白道理了吧？当你点击你想要浏览的网页链接的时候，是会从服务器重新下载数据的。 解决方法就是从服务器上刷新：快捷键 ctrl+F5，这样就是重新向服务器发送请求了。 如果服务器能正常给予你响应你就可以看到页面了。

bad gateway：错误网关，无效网关；在互联网中表示一种网络错误，表现在WEB浏览器中给出的页面反馈。

1、502 bad gateway 报错：简单来说 502 是报错类型代码 bad gateway 错误的网关。

2、产生错误的原因：连接超时。我们向服务器发送请求 由于服务器当前链接太多，导致服务器方面无法给于正常的响应，产生此类报错。

3、解救的办法：

①基本刷新：就是点击刷新或者使用F5快捷键。基本刷新有可能只是从本地的硬盘重新拿取数据到浏览器，并不一定重新向服务器发出请求。大部分用户很多时候都是这样刷新的，遇到502报错的就没有任何效果。

②从服务器刷新：如果你重新直接点击你想要浏览的网页链接，你会发现显示"502 bad gateway"错误信息的页面在点击链接后又可以正常浏览。

>