Python之Scrapy爬虫框架安装及简单使用详解

概述题记：早已听闻python爬虫框架的大名。近些天学习了下其中的Scrapy爬虫框架，将自己理解的跟大家分享。有表述不当之处，望大神们斧正。

题记：早已听闻Python爬虫框架的大名。近些天学习了下其中的Scrapy爬虫框架，将自己理解的跟大家分享。有表述不当之处，望大神们斧正。

一、初窥Scrapy

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。

其最初是为了页面抓取(更确切来说,网络抓取)所设计的， 也可以应用在获取API所返回的数据(例如Amazon Associates Web Services) 或者通用的网络爬虫。

本文档将通过介绍Scrapy背后的概念使您对其工作原理有所了解， 并确定Scrapy是否是您所需要的。

当您准备好开始您的项目后，您可以参考入门教程。

二、Scrapy安装介绍

Scrapy框架运行平台及相关辅助工具

Python2.7（Python最新版3.5，这里选择了2.7版本） Python Package:pipandsetuptools. 现在pip依赖setuptools，如果未安装，则会自动安装setuptools。 lxml. 大多数linux发行版自带了lxml。如果缺失，请查看http://lxml.de/installation.html OpenSSL. 除了windows(请查看平台安装指南)之外的系统都已经提供。

您可以使用pip来安装Scrapy(推荐使用pip来安装Python package).

pip install Scrapy

windows下安装流程：

1、安装Python 2.7之后，您需要修改PATH环境变量，将Python的可执行程序及额外的脚本添加到系统路径中。将以下路径添加到PATH中:

C:\Python27\;C:\Python27\Scripts\;

除此之外，还可以用cmd命令来设置Path：

c:\python27\python.exe c:\python27\tools\scripts\win_add2path.py

安装配置完成之后，可以执行命令python --version查看安装的python版本。（如图所示）

2、从http://sourceforge.net/projects/pywin32/安装pywin32

请确认下载符合您系统的版本(win32或者amd64)

从https://pip.pypa.io/en/latest/installing.html安装pip

3、打开命令行窗口，确认pip被正确安装:

pip --version

4、到目前为止Python 2.7 及pip已经可以正确运行了。接下来安装Scrapy:

pip install Scrapy

至此windows下Scrapy安装已经结束。

三、Scrapy入门教程

1、在cmd中创建Scrapy项目工程。

scrapy startproject tutorial

H:\python\scrapyDemo>scrapy startproject tutorialNew Scrapy project 'tutorial',using template directory 'f:\python27\lib\site-packages\scrapy\templates\project',created in:  H:\python\scrapyDemo\tutorialYou can start your first spIDer with:  cd tutorial  scrapy genspIDer example example.com

2、文件目录结构如下：

。

解析scrapy框架结构：

scrapy.cfg: 项目的配置文件。 tutorial/: 该项目的python模块。之后您将在此加入代码。 tutorial/items.py: 项目中的item文件。 tutorial/pipelines.py: 项目中的pipelines文件。 tutorial/settings.py: 项目的设置文件。 tutorial/spIDers/: 放置spIDer代码的目录。

3、编写简单的爬虫

1、在item.py中配置需采集页面的字段实例。

# -*- Coding: utf-8 -*-# define here the models for your scraped items## See documentation in:# http://doc.scrapy.org/en/latest/topics/items.htmlimport scrapyfrom scrapy.item import Item,FIEldclass Tutorialitem(Item):  Title = FIEld()  author = FIEld()  releasedate = FIEld()

2、在tutorial/spIDers/spIDer.py中书写要采集的网站以及分别采集各字段。

# -*-Coding:utf-8-*-import sysfrom scrapy.linkextractors.sgml import SgmllinkExtractorfrom scrapy.spIDers import CrawlSpIDer,Rulefrom tutorial.items import Tutorialitemreload(sys)sys.setdefaultencoding("utf-8")class ListSpIDer(CrawlSpIDer):  # 爬虫名称  name = "tutorial"  # 设置下载延时  download_delay = 1  # 允许域名  allowed_domains = ["news.cnblogs.com"]  # 开始URL  start_urls = [    "https://news.cnblogs.com"  ]  # 爬取规则,不带callback表示向该类url递归爬取  rules = (    Rule(SgmllinkExtractor(allow=(r'https://news.cnblogs.com/n/page/\d',))),Rule(SgmllinkExtractor(allow=(r'https://news.cnblogs.com/n/\d+',)),callback='parse_content'),)  # 解析内容函数  def parse_content(self,response):    item = Tutorialitem()    # 当前URL    Title = response.selector.xpath('//div[@ID="news_Title"]')[0].extract().decode('utf-8')    item['Title'] = Title    author = response.selector.xpath('//div[@ID="news_info"]/span/a/text()')[0].extract().decode('utf-8')    item['author'] = author    releasedate = response.selector.xpath('//div[@ID="news_info"]/span[@]/text()')[0].extract().decode(      'utf-8')    item['releasedate'] = releasedate    yIEld item

3、在tutorial/pipelines.py管道中保存数据。

# -*- Coding: utf-8 -*-# define your item pipelines here## Don't forget to add your pipeline to the ITEM_PIPElines setting# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.HTMLimport Jsonimport codecsclass TutorialPipeline(object):  def __init__(self):    self.file = codecs.open('data.Json',mode='wb',enCoding='utf-8')#数据存储到data.Json  def process_item(self,item,spIDer):    line = Json.dumps(dict(item)) + "\n"    self.file.write(line.decode("unicode_escape"))    return item

4、tutorial/settings.py中配置执行环境。

# -*- Coding: utf-8 -*-BOT_name = 'tutorial'SPIDER_MODulES = ['tutorial.spIDers']NEWSPIDER_MODulE = 'tutorial.spIDers'# 禁止cookies,防止被bancookieS_ENABLED = FalsecookieS_ENABLES = False# 设置Pipeline,此处实现数据写入文件ITEM_PIPElines = {  'tutorial.pipelines.TutorialPipeline': 300}# 设置爬虫爬取的最大深度DEPTH_liMIT = 100

5、新建main文件执行爬虫代码。

from scrapy import cmdlinecmdline.execute("scrapy crawl tutorial".split())

最终，执行main.py后在data.Json文件中获取到采集结果的Json数据。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持编程小技巧。

总结

以上是内存溢出为你收集整理的Python之Scrapy爬虫框架安装及简单使用详解全部内容，希望文章能够帮你解决Python之Scrapy爬虫框架安装及简单使用详解所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。