scrapy shell 怎么加上headers的信息

假设某个Scrapy工程目录为X_Spider Shell中执行 cd X_Spider&&scrapy list可查看可用蜘蛛列表 假设列表中有一蜘蛛名为Spider_x 则在shell中 scrapy crawl Spider_x运行该蜘蛛， 也可以直接对Spider_x.py文档使用 scrapy runspider命令。

如果设置好了，而且没有发送特殊header需求，就不需要设置了。

另外提一点，如果想每次请求headers都不一样可以使用

from fake_useragent import UserAgent

自己实现一个中间件

---