pyspider安装以及问题解决：

pyspider安装以及问题解决： pyspider安装以及问题解决：

利用Pythongd的基础网络包开发爬虫比较麻烦，市面上有很多API爬虫框架，大大简化了Python爬虫的开发

这里主要介绍了PySpider的写法，因为它增加了WEB界面，写爬虫迅速，集成了phantomjs，可以用来抓取js渲染的页面。

---

安装过程：

1. 安装pip
   pip是python的包管理工具，类似RedHat里面的yum
   https://pypi.python.org/pypi/pip#downloads下载地址
   下载pip安装包
   解压pip-9.0.1.tar.gz
   在该目录下执行 setup.py install
   将python安装目录下的scripts配置到PATH环境变量
2. 安装phantomjs
   http://phantomjs.org/download.html
   下载对应版本phantomjs
   解压phantomjs-2.1.1-windows.zip
   将其bin目录配置到PATH环境变量中
3. 使用pip安装pyspider
   pip install pyspider
4. 运行pyspider
   pyspider all

问题描述：

ininvalid syntax报错或者文件报错

File “C:UsershpAnaconda3Libsite-packagespyspiderrun.py”, line 231
 
async=True, get_object=False, no_input=False):
SyntaxError: invalid syntax

---

原因分析：

pyspider 版本更新缓慢并没有在此处修改，所以导致pyspider 不能正常启动。

---

解决方案：

处理异常有两种方法：1、降低python 版本，降低至3.5即可，但这种方法过于麻烦。2、修改出现异常的关键字。

修改3个文件里面的内容
D:Python38Libsite-packagespyspiderrun.py
D:Python38Libsite-packagespyspiderwebuiapp.py（1个async)
D:Python38Libsite-packagespyspiderfetchertornado_fetcher.py（5个async）
（重要）选择全词匹配，匹配大小写。
在替换是要注意：只替换名为async 的变量或参数名。
替换保存后再次运行“pyspider all”

问题描述2：

ValueError: Invalid configuration:
-Deprecated option ‘domaincontroller’: use ‘http_authenticator.domain_controller’ instead.

原因分析：

wsgidav版本问题。

---

解决方案：

通过 命令查看版本

因为3.0的版本不兼容，所以替换为2.4.1

pip uninstall wsgidav
pip install wsgidav==2.4.1

问题描述3：

中执行pyspider all命令报错如下：importError: cannot import name ‘DispatcherMiddleware’ from ‘werkzeug.wsgi’ (f:mypythonvenvlibsite-packageswerkzeugwsgi.py)

原因分析：

werkzeug的版本为1.0.0，这个版本中没有DispatcherMiddleware方法，所以还是降低版本。

注意降低版本不能低于0.15版本，因为我们的pyspider要求大于0.15版本以上

解决方案：

ython -m pip  uninstall werkzeug # 卸载
python -m pip install werkzeug==0.16.1   #安装0.16.1版本