我遇到了同样的问题,并且我还读到了一些观点,即scrapyd不可用/无法在Windows上运行,并且几乎放弃了它(因为我打算部署到linux机器上,所以并不需要它,想要scrapyd在Windows上进行调试)。但是,经过一些研究,我找到了一种方法。由于我没有找到任何明确的说明,因此我将尽可能详细地回答我,列出适用于我的所有步骤。
假设要在本地计算机上运行scrapyd,则需要运行两个命令行:第一个用于连接到scrapyd并保持连接打开,第二个用于部署和调度。
您已经安装了scrapyd。
在此文件夹中创建一个文件夹C: scrapyd和一个名为scrapyd.log的空.log文件(不确定此步骤是否必要)。
打开cmd和cd到Python中的scripts文件夹。通常类似于:C: Python27 scripts。类型:
python scrapyd
在这一点上,您应该看到类似的内容:
2014-03-26 13:57:30+0200 [-] Log opened.
2014-03-26 13:57:30+0200 [-] twistd 13.2.0 (C:Python27python.exe 2.7.6) starting up.
2014-03-26 13:57:30+0200 [-] reactor class: twisted.internet.selectreactor.SelectReactor.
2014-03-26 13:57:30+0200 [-] Site starting on 6800
2014-03-26 13:57:30+0200 [-] Starting factory
2014-03-26 13:57:30+0200 [Launcher] Scrapyd 1.0.1 started: max_proc=16, runner=’scrapyd.runner’
如果您可以打开浏览器并转到,
http://localhost:6800
则可以。命令行窗口应在后台保持打开状态,因为如果您关闭它,连接将被关闭。在Windows资源管理器上,导航到您的scrapy项目文件夹,然后编辑在该文件夹中找到的scrapy.cfg文件:例如,输入您的部署目标名称:[deploy:scrapyd],然后取消注释URL行。
打开第二个命令行,然后进入scrapy项目文件夹。类型:
scrapy deploy -l
部署:类型:
scrapy deploy scrapyd -p project_name
(scrapyd是您的目标)。您应该获得服务器响应代码200和正常状态。您还可以通过键入以下命令检查部署是否成功:scrapy deploy -L scrapyd
计划:您需要为Windows安装curl。方法如下:questions / 9507353 / steps-to-setup-curl-in-windows 类型:
curl http://localhost:6800/schedule.json -d project=project_name -d spider=spider_name
再次,您应该获得一个正常的状态,并且在浏览器中的http://localhost:6800
作业下,您可以检查该作业是否确实已调度。
我希望这有帮助。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)