沙哑的允许所有领域

沙哑的允许所有领域,第1张

沙哑的允许所有领域

完全不要设置allowed_domains。

查看此scrapy文件中的get_host_regex()函数

https://github.com/scrapy/scrapy/blob/master/scrapy/contrib/spidermiddleware/offsite.py



欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/5663891.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-16
下一篇 2022-12-16

发表评论

登录后才能评论

评论列表(0条)

保存