scrapy在settdings.py中已经设置好了DEFAULT_REQUEST_HEADERS,在发起请求的时候应该怎么写headers?

scrapy在settdings.py中已经设置好了DEFAULT_REQUEST_HEADERS,在发起请求的时候应该怎么写headers?,第1张

如果设置好了,而且没有发送特殊header需求,就不需要设置了。

另外提一点,如果想每次请求headers都不一样可以使用

from fake_useragent import UserAgent

自己实现一个中间件

我一般使用 yield Request()发起请求,尝试过改动settings中的 DEFAULT_REQUEST_HEADERS,也尝试过在Request()的构造函数中传入headers,都没有效果


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/tougao/11334506.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-15
下一篇 2023-05-15

发表评论

登录后才能评论

评论列表(0条)

保存