大二学生看到班级群老斗图!他爬了十万张表情包!获得称号斗图帝

大二学生看到班级群老斗图!他爬了十万张表情包!获得称号斗图帝,第1张

概述爬图片比爬文字数据要好玩得多了,但是由于图片比文字所占内存更大,所以所耗的时间会多一些,因此可以尝试使用多线程爬虫来爬取网站的图片。

爬图片比爬文字数据要好玩得多了,但是由于图片比文字所占内存更大,所以所耗的时间会多一些,因此可以尝试使用多线程爬虫来爬取网站的图片。

再来看看页面页码的元素:

要获取的是总页面数1690,则找到下图它的定位元素:

用BeautifulSoup的CSS路径选择器根据它的CSS路径定位:

分析完了就可以写代码了。整理下思路,由于python的线程数量有限,大概最多也只能有1000个左右的线程。

在我的代码中,每次爬10页(用了10个线程),每一页里有68张图片(用68个线程),所以一共680个线程。总共有1690页,114920张图片,创建10万个线程是不可能的了。所以便用这680个线程去爬这11多万张图片。每次爬10页,分169次爬完。

这些图片中有一些图是gif图,gif图就不爬了,所以在获取图片链接的时候只获取jpg结尾的链接。除去gif图我们要爬的图片大概有9万多张。

程序执行过程的截图:

程序执行到最后,会再次下载之前下载失败的图片,重新成功下载了3张,有4张还是下载失败了。一共爬了91667张,用时2757s,也就是46分钟就爬完了,在白天测得的这个速度还是可以的,若是在晚上校园网渣网速超级慢的情况下,经过测试得花上2个小时。

查看记录失败信息的txt文件:

看看爬到的图片:

再放一张比较应景的图:

最后放全部的代码:

把程序中的.jpg改成.gif就能爬取gif动图啦~

进群:125240963  即可获取数十套pdf哦!要源码也私信吧!

总结

以上是内存溢出为你收集整理的大二学生看到班级群老斗图!他爬了十万张表情包!获得称号斗图帝全部内容,希望文章能够帮你解决大二学生看到班级群老斗图!他爬了十万张表情包!获得称号斗图帝所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错,欢迎将内存溢出网站推荐给程序员好友。

欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/langs/1208910.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-06-04
下一篇 2022-06-04

发表评论

登录后才能评论

评论列表(0条)

保存