运行爬虫程序变的超级慢什么原因?

可能是因为以下几点原因：

1、机器本身使用时间过长，使用寿命快到了。

2、系统垃圾文件过多，后台启动项开启的太多。差拍凳

3、硬盘有坏道，坏扇区。硬盘输出耗材，特贺迟别是笔记本由于工作需要来回背着，所坏道特别多。

开机启动项设置问题。运行msconfig命令，打开系统配置实用程序，找到“启动”项，将一些不要开机自动的软件运行程序禁用即可。

建议你可以尝试以下几种方法来提高电脑的速度：

1、养成定期清理桌面图标的习惯。桌面图标太多，电脑开机显示不过来，所以造成开机反应慢，甚至卡机现象。

2、卸载一些不常用的软件。电脑安装的软件太多，也是造成电虚旅脑开机后变得反应慢的原因，所以请卸载一些我们不常用的软件。

3、利用电脑清理软件对电脑进行清理。清理了电脑里的垃圾后，反应会变得很快。

很多爬虫工作者都遇到过抓取非常慢的问题，尤其是需要采集大量数据的情况下。那么如何提高爬虫采集效率就十分关键，那一块了解如何提高爬虫采集效率问题。

1.尽可能减少网站访问次数

单次爬虫的主要把时间消耗在网络请求等待响应上面，所以能减少网站访问就减少网站访问，既减少自身的工作量，也减轻网站的压力，还降低被封的风险。

第一步要做的就是流程优化，尽量精简流程，避免在多个页面重复获取。

随后去重，同样是十分重要的手段，一般根据url或者id进行唯一性判别，爬过的就不再继续爬了。

2.分布式爬虫

即便把各种法子都用尽了，单机单位时间内能戚键爬的网页数仍是有限的，面对大量的网页页面队列，可计搭世算的时间仍是很长，这种情况下就必须要用机器换时间了，这就是分布式爬虫。

第一步，分布式并不是爬虫的本质，也并不是必须的，对于互相独立、不存在通信的任务就可手动对任务分割，随后在多个机器上各自执行，减少每台机器的工作量，费时就会成倍减少。

例如有200W个网页页面待爬，可以用5台机器各自爬互不重复的40W个网页页面，相对来说单机费时就缩短了5倍。

可是如果存在着需要通信的状况，例如一个变动的待爬队列，每爬一次这个队列就会发生变化，知仔肢即便分割任务也就有交叉重复，因为各个机器在程序运行时的待爬队列都不一样了——这种情况下只能用分布式，一个Master存储队列，其他多个Slave各自来取，这样共享一个队列，取的情况下互斥也不会重复爬取。IPIDEA提供高匿稳定的IP同时更注重用户隐私的保护，保障用户的信息安全。含有240＋国家地区的ip，支持API批量使用，支持多线程高并发使用。

---