完全不要设置allowed_domains。
查看此scrapy文件中的get_host_regex（）函数：
https://github.com/scrapy/scrapy/blob/master/scrapy/contrib/spidermiddleware/offsite.py
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
如何在Python中将字符串转换为utf-8
上一篇
2022-12-16
评论列表（0条）