使用Scrapy抓取JSON响应

使用Scrapy抓取JSON响应

这与使用Scrapy的

HtmlXPathSelector

html响应相同。唯一的区别是您应该使用

json

模块来解析响应：

class MySpider(baseSpider):    ...    def parse(self, response):         jsonresponse = json.loads(response.text)         item = MyItem()         item["firstName"] = jsonresponse["firstName"]         return item

希望有帮助。