使用scrapy分页

使用scrapy分页

首先，您应该看一下如何处理抓取Ajax动态加载的内容的线程：
可以使用scrapy从使用AJAX的网站上抓取动态内容吗？]

因此，单击“查看更多”按钮会触发XHR请求：

http://www.aido.com/eshop/faces/tiles/category.jsp?q=&categoryID=189&catalogueID=2&parentCategoryID=185&viewType=grid&bnm=&atmSize=&format=&gender=&ageRange=&actor=&director=&author=&region=&compProductType=&compOperatingSystem=&compScreenSize=&compCpuSpeed=&compRam=&compGraphicProcessor=&compDedicatedGraphicMemory=&mobProductType=&mobOperatingSystem=&mobCameraMegapixels=&mobScreenSize=&mobProcessor=&mobRam=&mobInternalStorage=&elecProductType=&elecFeature=&elecPlaybackFormat=&elecOutput=&elecPlatform=&elecMegaPixels=&elecOpticalZoom=&elecCapacity=&elecDisplaySize=&narrowage=&color=&prc=&k1=&k2=&k3=&k4=&k5=&k6=&k7=&k8=&k9=&k10=&k11=&k12=&startPrize=&endPrize=&newArrival=&entityType=&entityId=&brandId=&brandCmsFlag=&boutiqueID=&nmt=&disc=&rat=&cts=empty&isBoutiqueSoldOut=undefined&sort=12&isAjax=true&hstart=24&targetDIV=searchResultDisplay

返回

text/html

接下来的24个项目。请注意此

hstart=24

参数：第一次单击“查看更多”，它等于24，第二次-48，等等。这应该是您的救命稻草。

现在，您应该在Spider中模拟这些请求。推荐的方法是实例化scrapy的Request对象，该对象提供回调，您将在其中提取数据。

希望能有所帮助。