Python网络爬虫项目实战-手机App抓包

概述一、手机App抓包爬虫1.items.pyclass DouyuspiderItem(scrapy.Item):    name = scrapy.Field()# 存储照片的名字    imagesUrls = scrapy.Field()# 照片的url路径    imagesPath = scrapy.Field()# 照片保存在本地的路径2.spiders/douyu.pyimport scr

一、手机App抓包爬虫

1. items.py

class DouyuspIDerItem(scrapy.Item):    name = scrapy.FIEld()# 存储照片的名字    imagesUrls = scrapy.FIEld()# 照片的url路径    imagesPath = scrapy.FIEld()# 照片保存在本地的路径

2. spIDers/douyu.py

import scrapyimport Jsonfrom douyuSpIDer.items import DouyuspIDerItemclass DouyuSpIDer(scrapy.SpIDer):    name = "douyu"    allowd_domains = ["http://cAPI.douyucdn.cn"]    offset = 0    url = "http://cAPI.douyucdn.cn/API/v1/getVerticalRoom?limit=20&offset="    start_urls = [url + str(offset)]  def parse(self, response):      # 返回从Json里获取 data段数据集合      data = Json.loads(response.text)["data"]      for each in data:          item = DouyuspIDerItem()          item["name"] = each["nickname"]          item["imagesUrls"] = each["vertical_src"]          yIEld item      self.offset += 20      yIEld scrapy.Request(self.url + str(self.offset), callback = self.parse)

3. 设置setting.py

ITEM_PIPElines = {'douyuSpIDer.pipelines.ImagesPipeline': 1}# Images 的存放位置，之后会在pipelines.py里调用IMAGES_STORE = "/Users/Power/lesson_python/douyuSpIDer/Images"# user-agentUSER_AGENT = 'DYZB/2.290 (iPhone; iOS 9.3.4; Scale/2.00)'

4. pipelines.py

import scrapyimport osfrom scrapy.pipelines.images import ImagesPipelinefrom scrapy.utils.project import get_project_settingsclass ImagesPipeline(ImagesPipeline):    IMAGES_STORE = get_project_settings().get("IMAGES_STORE")    def get_media_requests(self, item, info):        image_url = item["imagesUrls"]        yIEld scrapy.Request(image_url)    def item_completed(self, results, item, info):        # 固定写法，获取图片路径，同时判断这个路径是否正确，如果正确，就放到 image_path里，ImagesPipeline源码剖析可见        image_path = [x["path"] for ok, x in results if ok]        os.rename(self.IMAGES_STORE + "/" + image_path[0], self.IMAGES_STORE + "/" + item["name"] + ".jpg")        item["imagesPath"] = self.IMAGES_STORE + "/" + item["name"]        return item#get_media_requests的作用就是为每一个图片链接生成一个Request对象，这个方法的输出将作为item_completed的输入中的results，results是一个元组，每个元组包括(success, imageinfoorfailure)。如果success=true，imageinfoor_failure是一个字典，包括url/path/checksum三个key。

在项目根目录下新建main.py文件,用于调试

from scrapy import cmdlinecmdline.execute('scrapy crawl douyu'.split())

执行程序

py2 main.py

 

总结

以上是内存溢出为你收集整理的Python网络爬虫项目实战-手机App抓包全部内容，希望文章能够帮你解决Python网络爬虫项目实战-手机App抓包所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。