Mac OS X安装 Scrapy

环境：Mac OS X Yosemite 10.11.4

<h3>安装Scrapy</h3>

学习Python爬虫必须要使用的框架Scrapy，以下是安装教程 以及可能遇到的问题和解决办法.

打开终端执行以下命令:

<code>sudo easy_install pip</code>

pip 和 easy_install 都是 Python 的框架管理命令，pip 是对 easy_install的升级。

安装成功后接着执行以下命令:

<code>sudo pip install Scrapy</code>

如果执行成功，那么 Scrapy 就安装成功了

但往往事与愿违，你很有可能遇到如下错误：OSError: [Errno 1] Operation not permitted ,就是各种root都不可以,google之后才发现这和新系统有个叫sip的机制有关.

<p> 由于El Capitan引入了SIP机制(System Integrity Protection)， 默认下系统启用SIP系统完整性保护机制，无论是对于硬盘还是运行时的进程限制对系统目录的写 *** 作。 这就是这个OSError: [Errno 1] Operation not permitted 错误的原因,解决办法就是取消SIP机制，具体做法是：

重启电脑，按住Command+R(直到出现苹果标志)进入Recovery Mode(恢复模式),左上角菜单里找到实用工具 ->终端输入csrutil disable回车重启Mac即可

如果想重新启动SIP机制重复上述步骤改用csrutil enable即可

我们现在再看看sip的状态,

<code>$ csrutil status

System Integrity Protection status: disabled.</code>

这样再安装时再也不会提示无法写入的权限提示了</p>

如果在mac下碰到OSError: [Errno 1] Operation not permitted:的问题，就算用sudo 也无法解决，那肯定是sip在作怪了.

权限的问题解决好后,你也有可能遇见这种错误:

解决方法有如下几种：你可以使用任意一种

1、终端执行命令安装或更新命令行开发工具：

<code>xcode-select --install</code>

2、配置路径：C_INCLUDE_PATH

<code>C_INCLUDE_PATH=/Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.10.sdk/usr/include/libxml2:/Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.10.sdk/usr/include/libxml2/libxml:/Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.10.sdk/usr/include

</code>

3、参照官网使用如下命令安装Scrapy

<code>STATIC_DEPS=true pip install lxml</code>

一般此三个方法就可解决错误成功安装Scrapy

如果安装成功了 但是在python下执行import scrapy报下面的错误

<code>Traceback (most recent call last):

File "<stdin>", line 1, in <module>

File "/Library/Python/2.7/site-packages/scrapy/ init .py", line 48, in <module>

from scrapy.spiders import Spider

File "/Library/Python/2.7/site-packages/scrapy/spiders/ init .py", line 10, in <module>

from scrapy.http import Request

File "/Library/Python/2.7/site-packages/scrapy/http/ init .py", line 12, in <module>

from scrapy.http.request.rpc import XmlRpcRequest

File "/Library/Python/2.7/site-packages/scrapy/http/request/rpc.py", line 7, in <module>

from six.moves import xmlrpc_client as xmlrpclib

ImportError: cannot import name xmlrpc_client</code>

虽然我也不知道具体原因但已经在stackoverflow上找到解决办法:

在命令行终端依次执行下列命令即可:

<code>sudo rm -rf /Library/Python/2.7/site-packages/six </code>

<code>sudo rm -rf/System/Library/Frameworks/Python.framework/Versions/2.7/Extras

/lib/python/six </code>

<code>sudo pip install six</code>

安装步骤：

安装相关依赖

进入githup 中 setup.py查看相关依赖：

在终端中查看是否安装：

没有安装的直接pip install 直接安装就好了

最后安装Scrapy： pip3 install Scrapy(我的Mac有2.7 和3.5两个版本）

检验是否安装成功

scrapy -h

我已经安装成功但是提示 scrapy：command not found

为某一个文件在另外一个位置建立一个同不的链接，这个命令最常用的参数是-s,具体用法是：ln -s 源文件 目标文件

原因是因为安装的Twisted与你的Python版本不兼容。这里我将要安装的Twisted版本为cp39，而我的Python版本为Python38(即3.8+)，造成了版本上的不兼容。

解决方案：将Twisted文件改为与自己Python版本相兼容的版本即可。

安装完 Twisted 后，再使用如下命令安装 Scrapy

首先我们要打开命令提示符。

确认pip使用正常。

然后输入图中的命令回车确认。

等待程序下载后自动完成安装。

重新输入命令安装scrapy即可。

---