爬虫过程中ip被封,怎么解决？

找代理解决问题。出现这个现象的原因是因为网站采取了一些反爬中措施，如：服务器检测IP在单位时间内请求次数超过某个阀值导致，称为封IP。为了解决此类问题，代理就派上了用场，如：代理软件、付费代理、ADSL拨号代理，以帮助爬虫脱离封IP的苦海。

使用爬虫时ip限制问题的六种方法。

方法1

1、IP必须需要，如果有条件，建议一定要使用代理IP。　

2、在有外网IP的机器上，部署爬虫代理服务器。

3、你的程序，使用轮训替换代理服务器来访问想要采集的网站。

好处：

1、程序逻辑变化小，只需要代理功能。

2、根据对方网站屏蔽规则不同，你只需要添加更多的代理就行了。

3、就算具体IP被屏蔽了，你可以直接把代理服务器下线就OK，程序逻辑不需要变化。

方法2

1、ADSL+脚本，监测是否被封，然后不断切换ip。

2、设置查询频率限制正统的做法是调用该网站提供的服务接口。

方法3

1、useragent伪装和轮换。

2、使用雷电ip代理。

3、cookies的处理，有的网站对登陆用户政策宽松些。

方法4

尽可能的模拟用户行为：

1、UserAgent经常换一换。

2、访问时间间隔设长一点，访问时间设置为随机数。　

3、访问页面的顺序也可以随机着来。

方法5

网站封的依据一般是单位时间内特定IP的访问次数。将采集的任务按目标站点的IP进行分组通过控制每个IP在单位时间内发出任务的个数,来避免被封。当然,这个前题采集很多网站。如果只是采集一个网站,那么只能通过多外部IP的方式来实现了。

方法6

对爬虫抓取进行压力控制；可以考虑使用代理的方式访问目标站点。　

1、降低抓取频率，时间设置长一些，访问时间采用随机数。

2、频繁切换UserAgent（模拟浏览器访问）。

3、多页面数据，随机访问然后抓取数据。

4、更换用户IP，这是最直接有效的方法。

爬虫时IP被限制怎么解决？以下是一些常见的解决方法：

1，使用代理IP

使用代理IP是常用的解决方法之一。代理IP可以隐藏你的真实IP地址，并使你的请求看起来来自其他IP地址。这可以有效地绕过目标网站的IP限制，并允许你继续进行爬取。

2，延迟请求频率

有时，目标网站禁止你的IP访问是因为你的爬虫程序过于频繁地请求网站。在这种情况下，可以尝试通过减少请求频率来解决问题。可以通过添加一个等待时间或延迟请求的方法来实现。这样可以使你的爬虫程序看起来更像是一个真实的用户而不是一个自动化程序。

3，修改请求头

有些网站会通过检查请求头信息来判断是否是爬虫程序。因此，你可以尝试修改请求头信息，使其看起来更像是一个真实的用户在访问网站。例如，可以添加User-Agent、Referer等字段信息，并将其设置为浏览器的默认值。

4，使用验证码识别工具

有些网站会使用验证码来防止自动化程序的访问。在这种情况下，你可以使用一些验证码识别工具，例如Tesseract OCR、百度OCR等工具，来自动解析验证码，并将结果添加到请求中。

5，使用多个IP地址

如果你有多个IP地址，可以轮流使用这些IP地址来发送请求，以避免在使用单个IP地址时被禁止访问。

总之，在进行爬虫时，应该注意不要过度频繁地请求网站，同时也应该尊重网站的反爬虫策略，以避免造成不必要的麻烦。如果你遇到了IP被禁止的问题，可以尝试以上解决方法。

巨量HTTP已向众多互联网知名企业提供服务，当前节点覆盖全国200+城市，日产千万高品质ip池，对提高爬虫的抓取效率提供帮助，支持API批量使用，支持多线程高并发使用。同时，推出注册每日领取1000ip的永久免费套餐，期待您的咨询和使用。

一是内部网络，你更换网络设置里面的IP地址；

手动设置IP及DNS：

1、首先，我们必须找到局域网中尚未使用的IP地址。通常在局域网中，会有许多台电脑，只有每一台电脑的IP地址不相同才能确保电脑正常联网。大家可以在网上搜索“局域网查看器”这款软件来获取当前局域网中已分配的IP地址列表，从而找到尚未分配的IP地址。

2、获得了局域网中尚未分配的IP地址以后，就可以将此IP地址设置为当前IP地址受限的电脑啦。打开“本地连接”，(其中一种方法是右击任务栏网络图标，从中选择“打开网络和共享中心”项进入，也可以通过控制面板相关项进入)。

3、右击“本地连接”，从d出的菜单中选择“属性”项。

4、接着选中“TCP/IP”项，并点击“属性”按钮。

5、然后在打开的窗口中，勾选“手动设置IP地址”和“手动设置DNS”项，并进行设置。然后就可以正常上网啦。

二、是外部网络，你断网，关闭ADSL，然后稍等一会儿，重新拨号，就会重新给你分配一个动态的IP地址；

网关和DNS的获取：

1、打开“运行”对话框(按Win+R即可打开)，输入CMD进入MSDOS界面。

2、在打开的MSDOS界面输入“ipconfig /all”即可查看至“网关地址”和“DNS服务器地址”。排除ARP攻击http://www.arpun.com/soft/list_1_18.html、保持网络畅通

1、我们可以借用许多网络管理软件来实现对ARP的检测及故障排除。直接在百度中搜索“局域网安全卫士”程序。

局域网安全卫士下载地址:http://www.arpun.com/soft/23328.html

2、运行该款软件，选择选择要进行监控的网卡类型。

3、接着在程序主界面中勾选“发现ARP攻击时输出报警信号”和“发现ARP攻击时自动隔离”项。

4、最后点击“开始监控”按钮即可。这样，当局域网中存在ARP攻击时会自动隔离并输出报警信号，从而有效保护网络的正常畅通。

---