While循环中的ReactorNotRestartable错误出现刮擦

While循环中的ReactorNotRestartable错误出现刮擦

默认情况下，

CrawlerProcess

的

.start()

将停止在所有爬虫完成它创建的扭曲反应器。

process.start(stop_after_crawl=False)

如果

process

在每个迭代中创建，则应调用。

另一种选择是自己处理并使用

Twisted

反应堆

CrawlerRunner

。该文档有一个这样做的例子。