用python,selenium,打开网页或者点击按钮会向服务器发送很多请求,用python如何获

用python,selenium,打开网页或者点击按钮会向服务器发送很多请求,用python如何获,第1张

你可以在chrome上加一个代理,比如tiny proxy,它是纯python写的。你改一改就可以奕成抓包程序, 自然就可以获得返回的请求。
另外在selenium里,也应该可以获得响应结果。它通过chrome驱动,我没有仔细看过代码,webkit内核是直接通过toHtml,或者是类似的命令可以获得响应结果的。 selenium应该也可以。
猜可以通过javascript驱动selenium,获得响应结果。

几点建议啊你试试,不确定能不能搞定

about:config找找有没有可以修改的参数

在firefox浏览器里配置一下默认不使用代理

把所有缓存删除一下

换chromedriver

一般情况下,你应该多使用有头模式
但问题在于,当我们要在 Linux 服务器上面使用 Selenium 或者 Puppeteer 运行爬虫的时候,就会发现有头模式始终会报错。这是因为,有头模式需要系统提供图形界面支持,才能绘制浏览器窗口,但是 Linux 服务器一般来说是没有图形界面的,所以有头模式一定会失败。
在这种情况下,为了能够使用模拟浏览器的有头模式,我们需要搞一个假的图形界面出来,从而欺骗浏览器,让它的有头模式能够正常使用。在 Linux 服务器中创建假桌面运行模拟浏览器有头模式。
经常使用 Selenium 或者 Puppeteer 的同学都知道,他们启动的 Chrome 浏览器分为有头模式和无头模式。在自己电脑上 *** 作时,如果是有头模式,会d出一个 Chrome 浏览器窗口,然后你能看到这个浏览器里面在自动 *** 作。而无头模式则不会d出任何窗口,只有进程。即使你不使用任何隐藏特征的技术,仅仅使用有头模式,你都会安全很多。如果网站不是非常严格的反爬虫,很多情况下,使用无头模式更容易被发现,但使用有头模式,更难被发现。


欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/zz/10610364.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-10
下一篇 2023-05-10

发表评论

登录后才能评论

评论列表(0条)

保存