使用python刮Ajax页面

首先，可从https://scrapy.readthedocs.org/en/latest/获得草率文档。

谈到在抓取Web时处理Ajax。基本上，这个想法很简单：

• 打开浏览器开发者工具的“网络”标签
• 前往目标地点
• 单击提交按钮，看看有什么

  XHR

  请求要发送到服务器

• XHR

  在您的蜘蛛中模拟此请求

另请参阅：

• 可以使用scrapy从使用AJAX的网站上抓取动态内容吗？
• 使用scrapy分页

希望能有所帮助。