为Scrapy构建RESTful Flask API

为Scrapy构建RESTful Flask API

我认为没有一种好的方法可以为Scrapy创建基于Flask的API。Flask不是正确的工具，因为它不是基于事件循环的。更糟糕的是，Twisted反应堆（Scrapy使用）不能在一个线程中多次启动/停止。

假设Twisted电抗器没有问题，您可以启动和停止它。它不会使事情变得更好，因为您的

scrape_it

函数可能会长时间阻塞，因此您将需要许多线程/进程。

我认为方法是使用Twisted或Tornado等异步框架创建API；它将比基于Flask（或基于Django）的解决方案更加高效，因为该API将能够在Scrapy运行Spider时处理请求。

Scrapy基于Twisted，因此使用twisted.web或https://github.com/twisted/klein可能更简单。但是，Tornado也并不难，因为您可以使用Twisted事件循环使它成为现实。

有一个名为ScrapyRT的项目，其功能与您要实现的功能非常相似-
这是Scrapy的HTTP API。ScrapyRT基于Twisted。

作为Scrapy基旋风整合检查的examle Arachnado
-这里是如何Scrapy的CrawlerProcess与龙卷风的应用程序集成的例子。

如果您确实需要基于Flask的API，则可以在单独的进程中开始爬网和/或使用Celery等队列解决方案。这样，您就失去了大多数Scrapy效率；如果您采用这种方式，则也可以使用请求+
BeautifulSoup。