使用刮擦飞溅会严重影响刮擦速度吗？

使用刮擦飞溅会严重影响刮擦速度吗？

这取决于页面上存在的javascript数量。

您必须知道，渲染所有Javascript时，启动 会花费一些时间 ，而python应用程序将继续运行而无需等待渲染完成。因此，有时飞溅也无法做到。

• 您可以显式地等待渲染，因为通常需要一些时间。
• 这也是一个好习惯

  wait

  。

这里，

import scrapyfrom scrapy_splash import SplashRequestyield scrapy.Request(url, callback=self.parse, meta={'splash':{'args':{'wait':'25'},'endpoint':'render.html'}})

要么

import scrapyfrom scrapy_splash import SplashRequestyield SplashRequest(url, self.parse, endpoint='render.html',        args={'wait': 5, 'html' : 1 } )

在硒和硒之间

Selenium

仅用于自动执行Web浏览器交互，

Scrapy

用于下载HTML，处理数据并将其保存（整个Web爬行框架）。

谈到抓取，我建议您查看一下

scrapy

，如果问题出在javascript上。

• Scrapy已经有自己的javascript官方项目，名为scrapy-splash
• 另外，您可以从Scranium中的Selenium创建新的webdriver实例，进行一些工作，提取数据，然后在完成所有工作后将其关闭。