Python编程基础之（五）Scrapy爬虫框架

经过前面四章的学习，我们已经可以使用Requests库、Beautiful Soup库和Re库，编写基本的Python爬虫程序了。那么这一章就来学习一个专业的网络爬虫框架--Scrapy。没错，是框架，而不是像前面介绍的函数功能库。

Scrapy是一个快速、功能强大的网络爬虫框架。

可能大家还不太了解什么是框架，爬虫框架其实是实现爬虫功能的一个软件结构和功能组件的集合。

简而言之， Scrapy就是一个爬虫程序的半成品，可以帮助用户实现专业的网络爬虫。

使用Scrapy框架，不需要你编写大量的代码，Scrapy已经把大部分工作都做好了，允许你调用几句代码便自动生成爬虫程序，可以节省大量的时间。

当然，框架所生成的代码基本是一致的，如果遇到一些特定的爬虫任务时，就不如自己使用Requests库搭建来的方便了。

PyCharm安装

测试安装：

出现框架版本说明安装成功。

掌握Scrapy爬虫框架的结构是使用好Scrapy的重中之重！

先上图：

整个结构可以简单地概括为： “5+2”结构和3条数据流

5个主要模块（及功能）：

（1）控制所有模块之间的数据流。

（2）可以根据条件触发事件。

（1）根据请求下载网页。

（1）对所有爬取请求进行调度管理。

（1）解析DOWNLOADER返回的响应--response。

（2）产生爬取项--scraped item。

（3）产生额外的爬取请求--request。

（1）以流水线方式处理SPIDER产生的爬取项。

（2）由一组 *** 作顺序组成，类似流水线，每个 *** 作是一个ITEM PIPELINES类型。

（3）清理、检查和查重爬取项中的HTML数据并将数据存储到数据库中。

2个中间键：

（1）对Engine、Scheduler、Downloader之间进行用户可配置的控制。

（2）修改、丢弃、新增请求或响应。

（1）对请求和爬取项进行再处理。

（2）修改、丢弃、新增请求或爬取项。

3条数据流：

（1）：图中数字 1-2

1：Engine从Spider处获得爬取请求--request。

2：Engine将爬取请求转发给Scheduler，用于调度。

（2）：图中数字 3-4-5-6

3：Engine从Scheduler处获得下一个要爬取的请求。

4：Engine将爬取请求通过中间件发送给Downloader。

5：爬取网页后，Downloader形成响应--response，通过中间件发送给Engine。

6：Engine将收到的响应通过中间件发送给Spider处理。

（3）：图中数字 7-8-9

7：Spider处理响应后产生爬取项--scraped item。

8：Engine将爬取项发送给Item Pipelines。

9：Engine将爬取请求发送给Scheduler。

任务处理流程：从Spider的初始爬取请求开始爬取，Engine控制各模块数据流，不间断从Scheduler处获得爬取请求，直至请求为空，最后到Item Pipelines存储数据结束。

作为用户，只需配置好Scrapy框架的Spider和Item Pipelines，也就是数据流的入口与出口，便可完成一个爬虫程序的搭建。Scrapy提供了简单的爬虫命令语句，帮助用户一键配置剩余文件，那我们便来看看有哪些好用的命令吧。

Scrapy采用命令行创建和运行爬虫

PyCharm打开Terminal，启动Scrapy：

Scrapy基本命令行格式：

具体常用命令如下：

下面用一个例子来学习一下命令的使用：

1.建立一个Scrapy爬虫工程，在已启动的Scrapy中继续输入：

执行该命令，系统会在PyCharm的工程文件中自动创建一个工程，命名为pythonDemo。

2.产生一个Scrapy爬虫，以教育部网站为例http://www.moe.gov.cn：

命令生成了一个名为demo的spider，并在Spiders目录下生成文件demo.py。

命令仅用于生成demo.py文件，该文件也可以手动生成。

观察一下demo.py文件：

3.配置产生的spider爬虫，也就是demo.py文件：

4.运行爬虫，爬取网页：

如果爬取成功，会发现在pythonDemo下多了一个t20210816_551472.html的文件，我们所爬取的网页内容都已经写入该文件了。

以上就是Scrapy框架的简单使用了。

Request对象表示一个HTTP请求，由Spider生成，由Downloader执行。

Response对象表示一个HTTP响应，由Downloader生成，有Spider处理。

Item对象表示一个从HTML页面中提取的信息内容，由Spider生成，由Item Pipelines处理。Item类似于字典类型，可以按照字典类型来 *** 作。

　作为linux服务器管理员,经常要使用ssh登陆到远程linux机器上做一些耗时的 *** 作。

也许你遇到过使用telnet或SSH远程登录linux,运行一些程序。如果这些程序需要运行很长时间(几个小时)，而程序运行过程中出现网络故障，或者客户机故障，这时候客户机与远程服务器的链接将终端，并且远程服务器没有正常结束的命令将被迫终止。

又比如你SSH到主机上后，开始批量的scp命令，如果这个ssh线程断线了，scp进程就中断了。在远程服务器上正在运行某些耗时的作业，但是工作还没做完快要下班了，退出的话就会中断 *** 作了，如何才好呢?

我们利用screen命令可以很好的解决这个问题。实现在断开SSH的情况下,在服务器上继续执行程序。

那什么是screen命令?

Screen被称之为一个全屏窗口管理器，用他可以轻松在一个物理终端上获得多个虚拟终端的效果。

Screen功能说明：

简单来说，Screen是一个可以在多个进程之间多路复用一个物理终端的窗口管理器,这意味着你能够使用一个单一的终端窗口运行多终端的应用。Screen中有会话的概念，用户可以在一个screen会话中创建多个screen窗口，在每一个screen窗口中就像 *** 作一个真实的telnet/SSH连接窗口那样。

Screen命令语法：

screen [-AmRvx -ls -wipe][-d <作业名称>][-h <行数>][-r  <作业名称>][-s ][-S <作业名称>]

Screen命令参数：

-A -[rR] 将所有的视窗都调整为目前终端机的大小。

-c filename 用指定的filename文件替代screen的配置文件’.screenrc’.

-d [pid.tty.host]  断开screen进程(使用该命令时，screen的状态一定要是Attached，也就是说有用户连在screen里)。一般进程的名字是以pid.tty.host这种形式表示(用screen  -list命令可以看出状态)。

-D [pid.tty.host] 与-d命令实现一样的功能，区别就是如果执行成功，会踢掉原来在screen里的用户并让他logout。

-h <行数>　 指定视窗的缓冲区行数。

-ls或–list 显示目前所有的screen作业。

-m 即使目前已在作业中的screen作业，仍强制建立新的screen作业。

-p number or name 预先选择一个窗口。

-r [pid.tty.host] 恢复离线的screen进程，如果有多个断开的进程，需要指定[pid.tty.host]

-R 先试图恢复离线的作业。若找不到离线的作业，即建立新的screen作业。

-s shell 指定建立新视窗时，所要执行的shell。

-S <作业名称>指定screen作业的名称。(用来替代[pid.tty.host]的命名方式,可以简化 *** 作).

-v 显示版本信息。

-wipe 检查目前所有的screen作业，并删除已经无法使用的screen作业。

-x 恢复之前离线的screen作业。

Screen命令的常规用法:

screen -d -r:连接一个screen进程，如果该进程是attached，就先踢掉远端用户再连接。

screen -D -r:连接一个screen进程，如果该进程是attached，就先踢掉远端用户并让他logout再连接

screen -ls或者-list:显示存在的screen进程，常用命令

screen -m:如果在一个Screen进程里，用快捷键crtl+a c或者直接打screen可以创建一个新窗口,screen  -m可以新建一个screen进程。

screen -dm:新建一个screen，并默认是detached模式，也就是建好之后不会连上去。

screen -p number or name:预先选择一个窗口。

Screen实现后台运行程序的简单步骤:

1>要进行某项 *** 作时，先使用命令创建一个Screen:

代码如下:

[linux@user~]$ screen -S test1

2>接着就可以在里面进行 *** 作了，如果你的任务还没完成就要走开的话，使用命令保留Screen：

代码如下:

[linux@user~]$ Ctrl+a+d #按Ctrl+a，然后再按d即可保留Screen

[detached] #这时会显示出这个提示，说明已经保留好Screen了

如果你工作完成的话，就直接输入:

代码如下:

[linux@user~]$ exit #这样就表示成功退出了

[screen is terminating]

3>如果你上一次保留了Screen，可以使用命令查看：

代码如下:

[linux@user~]$ screen -ls

There is a screen on:

9649.test1 (Detached)

恢复Screen，使用命令：

代码如下:

[linux@user~]$ screen -r test1 (or 9649)

Screen命令中用到的快捷键

Ctrl+a c ：创建窗口

Ctrl+a w ：窗口列表

Ctrl+a n ：下一个窗口

Ctrl+a p ：上一个窗口

Ctrl+a 0-9 ：在第0个窗口和第9个窗口之间切换

Ctrl+a K(大写) ：关闭当前窗口，并且切换到下一个窗口(当退出最后一个窗口时，该终端自动终止，并且退回到原始shell状态)

exit ：关闭当前窗口，并且切换到下一个窗口(当退出最后一个窗口时，该终端自动终止，并且退回到原始shell状态)

Ctrl+a d ：退出当前终端，返回加载screen前的shell命令状态

多窗口

screen，像许多的窗口管理器一样，能支持多窗口。这个功能在处理多个任务且同时没有打开新的会话时  很有用。作为一个系统管理员，我常常要同时开四五个SSH会话。在每个shell下，我可能要处理两三个任务。不使用screen的话，需要15个SSH  会话，15次登录，15个窗口等等。使用screen，每个系统都分配到一个单独的会话中，我通过screen来管理系统上不同的作业。

要打开新的窗口，只需要使用“Ctrl-A”“c”。创建的新的窗口会显示一个默认的命令提示符。例如，我可以运行top命令后再打开一个新的窗口来做其它的工作。Top继续留在那运行!可以亲身实验一下，启动screen并运行top。(注：为了节省空间我截断了多个屏幕。)

启动top

代码如下:

Mem: 506028K av, 500596K used, 5432K free,

0K shrd, 11752K buff

Swap: 1020116K av, 53320K used, 966796K free

393660K cached

<p>PID USER PRI NI SIZE RSS SHARE STAT %CPU %ME

6538 root 25 0 1892 1892 596 R 49.1 0.3

6614 root 16 0 1544 1544 668 S 28.3 0.3

7198 admin 15 0 1108 1104 828 R 5.6 0.2

现在可以通过“Ctrl-A”“c”来打开一个新窗口

代码如下:

[admin@ensim admin]$

To get back to top, use "Ctrl-A "n"

Mem: 506028K av, 500588K used, 5440K free,

0K shrd, 11960K buff

Swap: 1020116K av, 53320K used, 966796K free

392220K cached

<p>PID USER PRI NI SIZE RSS SHARE STAT %CPU %ME

6538 root 25 0 1892 1892 596 R 48.3 0.3

6614 root 15 0 1544 1544 668 S 30.7 0.3

你可以创建多个窗口然后通过“Ctrl-A”“n”切换到下一个窗口，或者使用“Ctrl-A”“p”返回上一个窗口。当你在其它窗口工作时，其它窗口的每个程序都会保持运行。

退出screen

有两种方式退出screen。第一种和登出一个shell一样，你可以通过“Ctrl-A”“K”或者“exit”来终止一个窗口。这样当前的窗口会被关闭，如果你打开了多个窗口，你就会直接转到其余中的一个，而如果是仅有的一个窗口时，你就退出了screen。

另外一种退出screen的方式是分离窗口。这种方式只是简单地关闭了窗口但进程仍运行着。如果你有确定要长时间执行的进程，还需要关闭SSH程序时，你便可以使用“Ctrl-A”“d”分离窗口。这会使你回到shell中。所有的screen窗口都待在那里，你可以稍后重新接管它们。(译者注：这很像我们实际中的最小化窗口和程序后台运行)

接管会话

假设你正用着screen花了很长时间编译着一个程序，突然间你的连接断开了。请不用担心，screen会保存你的编译进度。重新登录你的 *** 作系统后使用screen列表工具查看有哪些会话正在运行：

代码如下:

[root@gigan root]# screen -ls

There are screens on:

31619.ttyp2.gigan (Detached)

4731.ttyp2.gigan (Detached)

2 Sockets in /tmp/screens/S-root.

在这里，我有两个不同的screen会话。要需要重新接管其中一个，使用恢复窗口的命令：

代码如下:

[root@gigan root]#screen -r 31619.ttyp2.gigan

只需要使用 -r  选项再接会话的名，现在你便可以重新回到刚才的屏幕。令人欣喜的是，你还可以在任何地方重新接管。不论在办公室还是其它客户端上，你都可以使用screen来启动一项工作然后退出。

多窗口

screen，像许多的窗口管理器一样，能支持多窗口。这个功能在处理多个任务且同时没有打开新的会话时  很有用。作为一个系统管理员，我常常要同时开四五个SSH会话。在每个shell下，我可能要处理两三个任务。不使用screen的话，需要15个SSH  会话，15次登录，15个窗口等等。使用screen，每个系统都分配到一个单独的会话中，我通过screen来管理系统上不同的作业。

要打开新的窗口，只需要使用“Ctrl-A”“c”。创建的新的窗口会显示一个默认的命令提示符。例如，我可以运行top命令后再打开一个新的窗口来做其它的工作。Top继续留在那运行!可以亲身实验一下，启动screen并运行top。(注：为了节省空间我截断了多个屏幕。)

启动top

代码如下:

Mem: 506028K av, 500596K used, 5432K free,

0K shrd, 11752K buff

Swap: 1020116K av, 53320K used, 966796K free

393660K cached

<p>PID USER PRI NI SIZE RSS SHARE STAT %CPU %ME

6538 root 25 0 1892 1892 596 R 49.1 0.3

6614 root 16 0 1544 1544 668 S 28.3 0.3

7198 admin 15 0 1108 1104 828 R 5.6 0.2

现在可以通过“Ctrl-A”“c”来打开一个新窗口

代码如下:

[admin@ensim admin]$

To get back to top, use "Ctrl-A "n"

Mem: 506028K av, 500588K used, 5440K free,

0K shrd, 11960K buff

Swap: 1020116K av, 53320K used, 966796K free

392220K cached

<p>PID USER PRI NI SIZE RSS SHARE STAT %CPU %ME

6538 root 25 0 1892 1892 596 R 48.3 0.3

6614 root 15 0 1544 1544 668 S 30.7 0.3

你可以创建多个窗口然后通过“Ctrl-A”“n”切换到下一个窗口，或者使用“Ctrl-A”“p”返回上一个窗口。当你在其它窗口工作时，其它窗口的每个程序都会保持运行。

退出screen

有两种方式退出screen。第一种和登出一个shell一样，你可以通过“Ctrl-A”“K”或者“exit”来终止一个窗口。这样当前的窗口会被关闭，如果你打开了多个窗口，你就会直接转到其余中的一个，而如果是仅有的一个窗口时，你就退出了screen。

另外一种退出screen的方式是分离窗口。这种方式只是简单地关闭了窗口但进程仍运行着。如果你有确定要长时间执行的进程，还需要关闭SSH程序时，你便可以使用“Ctrl-A”“d”分离窗口。这会使你回到shell中。所有的screen窗口都待在那里，你可以稍后重新接管它们。(译者注：这很像我们实际中的最小化窗口和程序后台运行)

接管会话

假设你正用着screen花了很长时间编译着一个程序，突然间你的连接断开了。请不用担心，screen会保存你的编译进度。重新登录你的 *** 作系统后使用screen列表工具查看有哪些会话正在运行：

代码如下:

[root@gigan root]# screen -ls

There are screens on:

31619.ttyp2.gigan (Detached)

4731.ttyp2.gigan (Detached)

2 Sockets in /tmp/screens/S-root.

在这里，我有两个不同的screen会话。要需要重新接管其中一个，使用恢复窗口的命令：

代码如下:

[root@gigan root]#screen -r 31619.ttyp2.gigan

只需要使用 -r  选项再接会话的名，现在你便可以重新回到刚才的屏幕。令人欣喜的是，你还可以在任何地方重新接管。不论在办公室还是其它客户端上，你都可以使用screen来启动一项工作然后退出。

---