scrapy框架如何python爬虫中找寻下一页？

scrapy框架如何python爬虫中找寻下一页？

我们在上篇讲到在获取数据的时候，只收集了第一页就结束了。电脑需要某种指令让它像人一样的灵活，找到一个跳转页面的方法。那么，我们该怎么给电脑下这个指令呢？小编经过翻阅找到了两种方法，这里先不揭晓，想要知道答案的小伙伴，我们一起往下进行学习文章吧。

实现自动翻页一般有两种方法：

在当前页面中找到下一页的地址；

自己根据URL的变化规律构造所有页面地址。

一般情况下我们使用第一种方法，第二种方法适用于页面的下一页地址为JS加载的情况。

 

观察页面的网页源码后可以得到，直接拼接URL即可得到下一页的链接。

 

再次运行结果，打开douban.csv。是不是发现所有的影片信息都获取到了，250个一个不多一个不少

 

最后，利用Excel的筛选功能你可以筛选任意符合你要求的影片。（PS：Excel可以直接打开csv进行 *** 作）

到这里，用scrapy框架运行python爬虫获取数据才算讲完，虽然只有短短的三篇文章。以后有更多的系列文章内容，小编也会持续为大家更新。更多Python学习推荐:PyThon学习网教学中心。