Running Multiple spiders in scrapy

Running Multiple spiders in scrapy

从OS级别一次运行两个scrapy脚本可能是最容易的。它们都应该能够保存到同一数据库。创建一个shell脚本来同时调用这两个scrapy脚本：

scrapy runspider foo &scrapy runspider bar

确保使用以下命令使该脚本可执行

chmod +x script_name

要每6小时安排一次cronjob，请

crontab -e

在你的终端中键入，然后按如下所示编辑文件：

* */6 * * * path/to/shell/script_name >> path/to/file.log

前一个*是分钟，然后是小时，依此类推，而星号是通配符。因此，这表示在小时可被6整除的任何时间或每六个小时运行一次脚本。