向Scrapy Spider传递URL列表以通过.txt文件进行抓取

向Scrapy Spider传递URL列表以通过.txt文件进行抓取

使用以下

-a

选项运行你的spider：

scrapy crawl myspider -a filename=text.txt

然后

__init__

使用Spider方法读取文件并定义

start_urls

：

class MySpider(baseSpider):    name = 'myspider'    def __init__(self, filename=None):        if filename: with open(filename, 'r') as f:     self.start_urls = f.readlines()

希望能有所帮助。