Python抓取框架Scrapy爬虫入门：页面提取

概述前言Scrapy是一个非常好的抓取框架，它不仅提供了一些开箱可用的基础组建，还能够根据自己的需求，进行强大的自定义。本文主要给大家介绍了关于Python抓取框架Scrapy之页面提取的相关内容，分享出来供大家参考学习，

前言

Scrapy是一个非常好的抓取框架，它不仅提供了一些开箱可用的基础组建，还能够根据自己的需求，进行强大的自定义。本文主要给大家介绍了关于Python抓取框架Scrapy之页面提取的相关内容，分享出来供大家参考学习，下面随着小编来一起学习学习吧。

在开始之前，关于scrapy框架的入门大家可以参考这篇文章：https://www.oudahe.com/p/43303/

下面创建一个爬虫项目，以图虫网为例抓取图片。

一、内容分析

打开 图虫网，顶部菜单“发现” “标签”里面是对各种图片的分类，点击一个标签，比如“美女”，网页的链接为：https://tuchong.com/tags/美女/，我们以此作为爬虫入口，分析一下该页面：

打开页面后出现一个个的图集，点击图集可全屏浏览图片，向下滚动页面会出现更多的图集，没有页码翻页的设置。Chrome右键“检查元素”打开开发者工具，检查页面源码，内容部分如下：

<div > <div > <ul >  <li Widget-gallery"]/ul/li，按照一般页面的逻辑，在li.gallery-item下面找到对应的链接地址，再往下深入一层页面抓取图片。
但是如果用类似 Postman 的http调试工具请求该页面，得到的内容是：
<div > <div ></div></div>
也就是并没有实际的图集内容，因此可以断定页面使用了AJAX请求，只有在浏览器载入页面时才会请求图集内容并加入div.Widget-gallery中，通过开发者工具查看XHR请求地址为：
https://tuchong.com/rest/Tags/美女/posts?page=1&count=20&order=weekly&before_timestamp=
参数很简单，page是页码，count是每页图集数量，order是排序，before_timestamp为空，图虫因为是推送内容式的网站，因此before_timestamp应该是一个时间值，不同的时间会显示不同的内容，这里我们把它丢弃，不考虑时间直接从最新的页面向前抓取。
请求结果为JsON格式内容，降低了抓取难度，结果如下：
{ "postList": [ { "post_ID": "15624611","type": "multi-photo","url": "https://weishexi.tuchong.com/15624611/","site_ID": "443122","author_ID": "443122","published_at": "2017-10-28 18:01:03","excerpt": "10月18日","favorites": 4052,"comments": 353,"rewardable": true,"parent_comments": "165","rewards": "2","vIEws": 52709,"Title": "微风不燥 秋意正好","image_count": 15,"images": [ {  "img_ID": 11585752,"user_ID": 443122,"Title": "","excerpt": "","wIDth": 5016,"height": 3840 },{  "img_ID": 11585737,"wIDth": 3840,"height": 5760 },... ],"Title_image": null,"Tags": [ {  "tag_ID": 131,"type": "subject","tag_name": "人像","event_type": "","Vote": "" },{  "tag_ID": 564,"tag_name": "美女","Vote": "" } ],"favorite_List_prefix": [],"reward_List_prefix": [],"comment_List_prefix": [],"cover_image_src": "https://photo.tuchong.com/443122/g/11585752.webp","is_favorite": false } ],"siteList": {...},"following": false,"coverUrl": "https://photo.tuchong.com/443122/ft640/11585752.webp","tag_ID": "564","url": "https://tuchong.com/Tags/%E7%BE%8E%E5%A5%B3/","more": true,"result": "SUCCESS"}
根据属性名称很容易知道对应的内容含义，这里我们只需关心 postList 这个属性，它对应的一个数组元素便是一个图集，图集元素中有几项属性我们需要用到：
  url：单个图集浏览的页面地址  post_ID：图集编号，在网站中应该是唯一的，可以用来判断是否已经抓取过该内容  site_ID：作者站点编号 ，构建图片来源链接要用到  Title：标题  excerpt：摘要文字  type：图集类型，目前发现两种，一种multi-photo是纯照片，一种text是文字与图片混合的文章式页面，两种内容结构不同，需要不同的抓取方式，本例中只抓取纯照片类型，text类型直接丢弃  Tags：图集标签，有多个  image_count：图片数量  images：图片列表，它是一个对象数组，每个对象中包含一个img_ID属性需要用到
根据图片浏览页面分析，基本上图片的地址都是这种格式： https://photo.tuchong.com/{site_ID}/f/{img_ID}.jpg ，很容易通过上面的信息合成。
二、创建项目
  进入cmder命令行工具，输入workon scrapy 进入之前建立的虚拟环境，此时命令行提示符前会出现(Scrapy) 标识，标识处于该虚拟环境中，相关的路径都会添加到PATH环境变量中便于开发及使用。  输入 scrapy startproject tuchong 创建项目 tuchong  进入项目主目录，输入 scrapy genspIDer photo tuchong.com 创建一个爬虫名称叫 photo (不能与项目同名)，爬取 tuchong.com 域名（这个需要修改，此处先输个大概地址），的一个项目内可以包含多个爬虫
经过以上步骤，项目自动建立了一些文件及设置，目录结构如下：
(PROJECT)│ scrapy.cfg│└─tuchong │ items.py │ mIDdlewares.py │ pipelines.py │ settings.py │ __init__.py │ ├─spIDers │ │ photo.py │ │ __init__.py │ │ │ └─__pycache__ │  __init__.cpython-36.pyc │ └─__pycache__  settings.cpython-36.pyc  __init__.cpython-36.pyc
  scrapy.cfg：基础设置  items.py：抓取条目的结构定义  mIDdlewares.py：中间件定义，此例中无需改动  pipelines.py：管道定义，用于抓取数据后的处理  settings.py：全局设置  spIDers\photo.py：爬虫主体，定义如何抓取需要的数据
三、主要代码
items.py 中创建一个TuchongItem类并定义需要的属性，属性继承自 scrapy.FIEld 值可以是字符、数字或者列表或字典等等：
import scrapyclass TuchongItem(scrapy.Item): post_ID = scrapy.FIEld() site_ID = scrapy.FIEld() Title = scrapy.FIEld() type = scrapy.FIEld() url = scrapy.FIEld() image_count = scrapy.FIEld() images = scrapy.FIEld() Tags = scrapy.FIEld() excerpt = scrapy.FIEld() ...
这些属性的值将在爬虫主体中赋予。
spIDers\photo.py 这个文件是通过命令 scrapy genspIDer photo tuchong.com 自动创建的，里面的初始内容如下：
import scrapyclass PhotoSpIDer(scrapy.SpIDer): name = 'photo' allowed_domains = ['tuchong.com'] start_urls = ['http://tuchong.com/'] def parse(self,response): pass
爬虫名 name，允许的域名 allowed_domains（如果链接不属于此域名将丢弃，允许多个） ，起始地址 start_urls 将从这里定义的地址抓取（允许多个）
函数 parse 是处理请求内容的默认回调函数，参数 response 为请求内容，页面内容文本保存在 response.body 中，我们需要对默认代码稍加修改，让其满足多页面循环发送请求，这需要重载 start_requests 函数，通过循环语句构建多页的链接请求，修改后代码如下：
import scrapy,Jsonfrom ..items import TuchongItemclass PhotoSpIDer(scrapy.SpIDer): name = 'photo' # allowed_domains = ['tuchong.com'] # start_urls = ['http://tuchong.com/'] def start_requests(self): url = 'https://tuchong.com/rest/Tags/%s/posts?page=%d&count=20&order=weekly'; # 抓取10个页面，每页20个图集 # 指定 parse 作为回调函数并返回 Requests 请求对象 for page in range(1,11):  yIEld scrapy.Request(url=url % ('美女',page),callback=self.parse) # 回调函数，处理抓取内容填充 TuchongItem 属性 def parse(self,response): body = Json.loads(response.body_as_unicode()) items = [] for post in body['postList']:  item = TuchongItem()  item['type'] = post['type']  item['post_ID'] = post['post_ID']  item['site_ID'] = post['site_ID']  item['Title'] = post['Title']  item['url'] = post['url']  item['excerpt'] = post['excerpt']  item['image_count'] = int(post['image_count'])  item['images'] = {}  # 将 images 处理成 {img_ID: img_url} 对象数组  for img in post.get('images',''):  img_ID = img['img_ID']  url = 'https://photo.tuchong.com/%s/f/%s.jpg' % (item['site_ID'],img_ID)  item['images'][img_ID] = url  item['Tags'] = []  # 将 Tags 处理成 tag_name 数组  for tag in post.get('Tags',''):  item['Tags'].append(tag['tag_name'])  items.append(item) return items
经过这些步骤，抓取的数据将被保存在 TuchongItem 类中，作为结构化的数据便于处理及保存。
前面说过，并不是所有抓取的条目都需要，例如本例中我们只需要 type="multi_photo 类型的图集，并且图片太少的也不需要，这些抓取条目的筛选 *** 作以及如何保存需要在pipelines.py中处理，该文件中默认已创建类 TuchongPipeline 并重载了 process_item 函数，通过修改该函数只返回那些符合条件的 item，代码如下：
... def process_item(self,item,spIDer): # 不符合条件触发 scrapy.exceptions.DropItem 异常，符合条件的输出地址 if int(item['image_count']) < 3:  raise DropItem("美女太少: " + item['url']) elif item['type'] != 'multi-photo':  raise DropItem("格式不对: " + + item['url']) else:  print(item['url']) return item...
当然如果不用管道直接在 parse 中处理也是一样的，只不过这样结构更清晰一些，而且还有功能更多的filePipelines和ImagePipelines可供使用，process_item将在每一个条目抓取后触发，同时还有 open_spIDer 及 close_spIDer 函数可以重载，用于处理爬虫打开及关闭时的动作。
注意：管道需要在项目中注册才能使用，在 settings.py 中添加：
ITEM_PIPElines = { 'tuchong.pipelines.TuchongPipeline': 300,# 管道名称: 运行优先级(数字小优先)}
另外，大多数网站都有反爬虫的 Robots.txt 排除协议，设置 ROBOTSTXT_OBEY = True 可以忽略这些协议，是的，这好像只是个君子协定。如果网站设置了浏览器User Agent或者IP地址检测来反爬虫，那就需要更高级的Scrapy功能，本文不做讲解。
四、运行
返回 cmder 命令行进入项目目录，输入命令：
scrapy crawl photo
终端会输出所有的爬行结果及调试信息，并在最后列出爬虫运行的统计信息，例如：
[scrapy.statscollectors] INFO: DumPing Scrapy stats:{'downloader/request_bytes': 491,'downloader/request_count': 2,'downloader/request_method_count/GET': 2,'downloader/response_bytes': 10224,'downloader/response_count': 2,'downloader/response_status_count/200': 2,'finish_reason': 'finished','finish_time': datetime.datetime(2017,11,27,7,20,24,414201),'item_dropped_count': 5,'item_dropped_reasons_count/DropItem': 5,'item_scraped_count': 15,'log_count/DEBUG': 18,'log_count/INFO': 8,'log_count/WARNING': 5,'response_received_count': 2,'scheduler/dequeued': 1,'scheduler/dequeued/memory': 1,'scheduler/enqueued': 1,'scheduler/enqueued/memory': 1,'start_time': datetime.datetime(2017,23,867300)}
主要关注ERROR及WARNING两项，这里的 Warning 其实是不符合条件而触发的 DropItem 异常。
五、保存结果
大多数情况下都需要对抓取的结果进行保存，默认情况下 item.py 中定义的属性可以保存到文件中，只需要命令行加参数 -o {filename} 即可：
scrapy crawl photo -o output.Json # 输出为JsON文件scrapy crawl photo -o output.csv # 输出为CSV文件
注意：输出至文件中的项目是未经过 TuchongPipeline 筛选的项目，只要在 parse 函数中返回的 Item 都会输出，因此也可以在 parse 中过滤只返回需要的项目
如果需要保存至数据库，则需要添加额外代码处理，比如可以在 pipelines.py 中 process_item 后添加:
... def process_item(self,spIDer):  ...  else:   print(item['url'])   self.myblog.add_post(item) # myblog 是一个数据库类，用于处理数据库 *** 作  return item...
为了在插入数据库 *** 作中排除重复的内容，可以使用 item['post_ID'] 进行判断，如果存在则跳过。
本项目中的抓取内容只涉及了文本及图片链接，并未下载图片文件，如需下载图片，可以通过两种方式：
安装 Requests 模块，在 process_item 函数中下载图片内容，同时在保存数据库时替换为本地图片路径。
使用 ImagePipelines 管道下载图片，具体使用方法下回讲解。
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对编程小技巧的支持。
          总结       
以上是内存溢出为你收集整理的Python抓取框架Scrapy爬虫入门：页面提取全部内容，希望文章能够帮你解决Python抓取框架Scrapy爬虫入门：页面提取所遇到的程序开发问题。
如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。
					
										


					

						
欢迎分享，转载请注明来源：内存溢出
原文地址: https://outofmemory.cn/langs/1201155.html