scrapy设置随机请求头的两种方法

需要先导入random模块

然后在meddlewares.py中创建RandomUserAgentMiddleWare()类.重写scrapy内置的UserAgentMiddleware.

需要先导入UserAgent

from fake_useragen timport UserAgent

需要在settings.py中设置

# 用于配置随机user-agent的类型，如果值是random，表示任意随机一个；如果配置的是chrome，则只随机chrome中的user-agent.

RANDOM_UA_TYPE ='chrome'

最后同上面一样需要在settings.py中设置DOWNLOAD_MIDDLEWARES,将系统默认的随机请求头给禁掉,再添加我们自己定义的随机UserAgent

1、安装scrapy：在pycharm中使用pip命令安装scrapy；

2、配置pycarm：在pycharm中配置scrapy，新建scrapy项目，设置scrapy框架；

3、添加scrapy库：在pycharm中添加scrapy库，使pycharm可以识别scrapy；

4、设置python解释器：设置pycharm使用python3解释器；

5、设置scrapy脚本：在pycharm中添加scrapy脚本，将scrapy脚本添加到pycharm中，使pycharm可以运行scrapy脚本。

---