Windows scrapyd-deploy无法识别

Windows scrapyd-deploy无法识别,第1张

Windows scrapyd-deploy无法识别

我遇到了同样的问题,并且我还读到了一些观点,即scrapyd不可用/无法在Windows上运行,并且几乎放弃了它(因为我打算部署到linux机器上,所以并不需要它,想要scrapyd在Windows上进行调试)。但是,经过一些研究,我找到了一种方法。由于我没有找到任何明确的说明,因此我将尽可能详细地回答我,列出适用于我的所有步骤。

假设要在本地计算机上运行scrapyd,则需要运行两个命令行:第一个用于连接到scrapyd并保持连接打开,第二个用于部署和调度。

  • 您已经安装了scrapyd。

  • 在此文件夹中创建一个文件夹C: scrapyd和一个名为scrapyd.log的空.log文件(不确定此步骤是否必要)。

  • 打开cmd和cd到Python中的scripts文件夹。通常类似于:C: Python27 scripts。类型:

    python scrapyd

  • 在这一点上,您应该看到类似的内容:

    2014-03-26 13:57:30+0200 [-] Log opened.

    2014-03-26 13:57:30+0200 [-] twistd 13.2.0 (C:Python27python.exe 2.7.6) starting up.

    2014-03-26 13:57:30+0200 [-] reactor class: twisted.internet.selectreactor.SelectReactor.

    2014-03-26 13:57:30+0200 [-] Site starting on 6800

    2014-03-26 13:57:30+0200 [-] Starting factory

    2014-03-26 13:57:30+0200 [Launcher] Scrapyd 1.0.1 started: max_proc=16, runner=’scrapyd.runner’

  • 如果您可以打开浏览器并转到,

    http://localhost:6800
    则可以。命令行窗口应在后台保持打开状态,因为如果您关闭它,连接将被关闭。

  • 在Windows资源管理器上,导航到您的scrapy项目文件夹,然后编辑在该文件夹中找到的scrapy.cfg文件:例如,输入您的部署目标名称:[deploy:scrapyd],然后取消注释URL行。

  • 打开第二个命令行,然后进入scrapy项目文件夹。类型:

    scrapy deploy -l

  • 部署:类型:

    scrapy deploy scrapyd -p project_name
    (scrapyd是您的目标)。您应该获得服务器响应代码200和正常状态。您还可以通过键入以下命令检查部署是否成功:
    scrapy deploy -L scrapyd

  • 计划:您需要为Windows安装curl。方法如下:questions / 9507353 / steps-to-setup-curl-in-windows 类型:

    curl http://localhost:6800/schedule.json -d project=project_name -d spider=spider_name
    再次,您应该获得一个正常的状态,并且在浏览器中的
    http://localhost:6800
    作业下,您可以检查该作业是否确实已调度。

我希望这有帮助。



欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/5664607.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-16
下一篇 2022-12-16

发表评论

登录后才能评论

评论列表(0条)

保存