selenium webdriver 怎么抓页面的js error

selenium webdriver的硬伤在于它无法真正判断页面上的元素什么时候能生成完毕，换句话说 ，假如获取页面上的元素失败，而这个元素是由js，ajax生成并且是未知的情况下（例如：要抓取网页关键词，但是关键词的内容是什么，一共有几个都是未知的情况下） 你无法判断是元素尚未被生成还是页面原本就没有这个元素导致的获取失败。

刚才说webdriver无法真正判断页面元素生成完毕，但webdriver提供了判断页面是否加载完成的方法，只不过这个加载完成的含义是页面上的html和JS代码加载完成，但js，ajax还可能在html和JS加载完之后执行从而改变页面上的内容，所以像刚才举例的网页上的关键词抓取失败就很难判断是js，ajax没有运行完毕还是页面上原本就没有这个元素导致的。

虽然selenium webdriver没有提供判断页面上的js，ajax是否执行完毕的功能，但不等于完全没有办法判断。官方也承认并不是不可以而是非常困难。昨天群里一位高手也说这种情况需要自行查看页面上的动态脚本代码以得知判断页面执行完的条件。我相信一个第三方库是比较难做到这一点的，即使牛逼到能实现，也不排除页面上有一个持续或者定时与服务器通信的动态脚本在实时改变页面内容，这样一来页面永远没有生成完毕的那一刻。

对于刚才说的抓取页面上未知元素，目前普遍的做法是在程序里面显示指定等待一段时间，确保有足够的时间让它生成，当然，不排除网络太差直到等待超时也来不及生成的情况。如果元素已知，可以显示用selenium webdriver提供的方法显示等待某一个元素在页面上出现后再继续执行下面的代码。

1、可以通过浏览器的调试功能，例如Firefox按F12，点网络标签，然后就可以看到网页的所有数据信息，网页通过AJAX异步加载的数据也可以得到。

2、使用抓包类的工具，如SmartSniff，经过分析也可以得到数据也可以得到数据

请求库：

1 requests 这个库是爬虫最常用的一个库

2 Selenium Selenium 是一个自动化测试工具，利用它我们可以驱动浏览器执行特定的动作，如点击、下拉等 *** 作 对于一些用JS做谊染的页面来说，这种抓取方式是非常有效的。

3ChomeDrive 安装了这个库，才能驱动Chrome浏览器完成相应的 *** 作

4GeckoDriver 使用W3C WebDriver兼容客户端与基于Gecko的浏览器进行交互的代理。

5PhantomJS PhantomJS 是一个无界面 、可脚本编程的 WebKit 浏览器引擎，它原生支持多种Web标准：Dom *** 作，css选择器，json，Canvas以及SVG。

6aio>

注意: Electron 以前被称为 Atom Shell。

与 NWjs 相似，Electron 提供了一个能通过 JavaScript 和 HTML 创建桌面应用的平台，同时集成 Node 来授予网页访问底层系统的权限。

但是这两个项目也有本质上的区别，使得 Electron 和 NWjs 成为两个相互独立的产品。

1 程序的入口

在NWjs中，应用的主入口是网页或者JS脚本。 你需要在packagejson中指定一个html或者js文件，一旦应用的主窗口(在html作为主入口点的情况下)或脚本被执行，应用就会在浏览器窗口打开。

在 Electron 中，入口是一个 JavaScript 脚本。 不同于直接提供一个URL，你需要手动创建一个浏览器窗口，然后通过 API 加载 HTML 文件。 你还可以监听窗口事件，决定何时让应用退出。

Electron 的工作方式更像 Nodejs 运行时。 Electron 的 APIs 更加底层，因此你可以用它替代 PhantomJS 做浏览器测试。

2 构建系统

为了避免构建整个 Chromium 带来的复杂度，Electron 通过 libchromiumcontent 来访问 Chromium 的 Content API。 libchromiumcontent 是一个独立的、引入了 Chromium Content 模块及其所有依赖的共享库。 用户不需要一个强劲的机器来构建 Electron。

3 Node 集成

在 NWjs，网页中的 Node 集成需要通过给 Chromium 打补丁来实现。但在 Electron 中，我们选择了另一种方式：通过各个平台的消息循环与 libuv 的循环集成，避免了直接在 Chromium 上做改动。 你可以查看 node_bindings 来了解这是如何完成的。

4 多上下文语境

如果你是有经验的 NWjs 用户，你应该会熟悉 Node 上下文和 web 上下文的概念。这些概念的产生源于 NWjs 的实现方式。

通过使用Node的multi-context(多上下文)特性，Electron不需要在网页中引入新的Javascript上下文。

注意: 自从 013 以来，NWjs 选择性支持多上下文。

一周或者一个月。

如果完全靠自己自学，又是从零基础开始学习Python的情况下，按照每个人的学习和理解能力的不同，我认为大致上需要半年到一年半左右的时间。

当然了，Python学习起来还是比较简单的，如果有其他编程语言经验，入门Python还是非常快的，花1-2个月左右的时间学完基础，就可以自己编写一些小的程序练练手了，5-6个月的时间就可以上手做项目了。

从一定程度上来说，一些零基础的初学者想要利用两个月的时间掌握好Python是不太可能的，学习完Python后想要应聘相对应的工作岗位，即便是选择最快的学习方式也是很难实现的，无法快速实现就业。

本文不是讲如何破解谷歌的reCAPTCHA（实际上我们也办不到），而是介绍在程序中借助第三方（人工）打码平台顺利通过reCAPTCHA验证。

由于使用人工打码会产生费用，并且费用是和调用次数成正比的，所以本方法仅适用于reCAPTCHA出现频率比较低的场景，例如：

1）网站登录使用了reCAPTCHA。比如，有时Linkedin登录就会出现reCAPTCHA（如下图所示），验证当前客户端是否是“真人”。

2）网站对访问频率过快的客户端返回reCAPTCHA，通过验证后即可继续访问。比如Zocdoccom这个网站。

下面进入正题。如何在程序中借助第三方（人工）打码平台通过reCAPTCHA验证？

因为reCAPTCHA表单是JS动态创建的，我们遇到的第一个难题就是如何获取到reCAPTCHA表单中的验证码的路径及各隐藏表单域的值。

1）一个办法就是使用类似webkit的浏览器模拟工具（例如，phantomjs）加载页面，这样就能直接获取到JS生成的HTML源码。但是实现起来比较复杂，还需要借助第三方的软件。

2）查看源码会发现如果页面禁用了JS，reCAPTCHA将使用iframe模式加载（如下示），此时验证码路径和各表单项都是直接可见的。

这个问题解决了。接下来我们要获取到验证码对应的明文。如何调用第三方打码平台进行验证码识别呢？

我们需要先下载验证码，再把的二进制数据上传给打码平台，然后等待平台人工打码返回明文。打码平台一般都提供了供各种常见语言调用的API，所以该过程也比较简单。

现在我们已经获取到验证码对应的明文，只要我们将其和其它隐藏表单域参数一起提交就能完成验证过程了。

闲话不多说，还是直接上代码比较实在（Python实现, 这是我们真实项目中用到的）：

view plaincopy to clipboardprint

# coding: utf-8

# recaptchapy

import sys

import os

oschdir(ospathdirname(ospathrealpath(sysargv[0])))

import re

import StringIO

import deathbycaptcha

from urlparse import urljoin

from webscraping import common, xpath

DEATHBYCAPTCHA_USERNAME = ''

DEATHBYCAPTCHA_PASSWORD = ''

def read_captcha(image):

"""image - fileobj, the captcha to be recognized

"""

client = deathbycaptchaSocketClient(DEATHBYCAPTCHA_USERNAME, DEATHBYCAPTCHA_PASSWORD)

try:

balance = clientget_balance()

# Put your CAPTCHA file name or file-like object, and optional

# solving timeout (in seconds) here:

commonloggerinfo('Submit captcha to >

实现爬虫技术的编程环境有很多种，Java、Python、C++等都可以用来爬虫。但很多人选择Python来写爬虫，为什么呢？因为Python确实很适合做爬虫，丰富的第三方库十分强大，简单几行代码便可实现你想要的功能。更重要的，Python也是数据挖掘和分析的好能手。那么，Python爬虫一般用什么框架比较好？

一般来讲，只有在遇到比较大型的需求时，才会使用Python爬虫框架。这样的做的主要目的，是为了方便管理以及扩展。本文我将向大家推荐十个Python爬虫框架。

1、Scrapy：Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。它是很强大的爬虫框架，可以满足简单的页面爬取，比如可以明确获知url pattern的情况。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。但是对于稍微复杂一点的页面，如weibo的页面信息，这个框架就满足不了需求了。它的特性有：HTML, XML源数据 选择及提取 的内置支持；提供了一系列在spider之间共享的可复用的过滤器(即 Item Loaders)，对智能处理爬取数据提供了内置支持。

2、Crawley：高速爬取对应网站的内容，支持关系和非关系数据库，数据可以导出为JSON、XML等。

3、Portia：是一个开源可视化爬虫工具，可让使用者在不需要任何编程知识的情况下爬取网站！简单地注释自己感兴趣的页面，Portia将创建一个蜘蛛来从类似的页面提取数据。简单来讲，它是基于scrapy内核；可视化爬取内容，不需要任何开发专业知识；动态匹配相同模板的内容。

4、newspaper：可以用来提取新闻、文章和内容分析。使用多线程，支持10多种语言等。作者从requests库的简洁与强大得到灵感，使用Python开发的可用于提取文章内容的程序。支持10多种语言并且所有的都是unicode编码。

5、Python-goose：Java写的文章提取工具。Python-goose框架可提取的信息包括：文章主体内容、文章主要、文章中嵌入的任何Youtube/Vimeo视频、元描述、元标签。

6、Beautiful Soup：名气大，整合了一些常用爬虫需求。它是一个可以从HTML或XML文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式Beautiful Soup会帮你节省数小时甚至数天的工作时间。Beautiful Soup的缺点是不能加载JS。

7、mechanize：它的优点是可以加载JS。当然它也有缺点，比如文档严重缺失。不过通过官方的example以及人肉尝试的方法，还是勉强能用的。

8、selenium：这是一个调用浏览器的driver，通过这个库你可以直接调用浏览器完成某些 *** 作，比如输入验证码。Selenium是自动化测试工具，它支持各种浏览器，包括 Chrome，Safari，Firefox等主流界面式浏览器，如果在这些浏览器里面安装一个 Selenium 的插件，可以方便地实现Web界面的测试 Selenium支持浏览器驱动。Selenium支持多种语言开发，比如 Java，C，Ruby等等，PhantomJS 用来渲染解析JS，Selenium 用来驱动以及与Python的对接，Python进行后期的处理。

9、cola：是一个分布式的爬虫框架，对于用户来说，只需编写几个特定的函数，而无需关注分布式运行的细节。任务会自动分配到多台机器上，整个过程对用户是透明的。项目整体设计有点糟，模块间耦合度较高。

10、PySpider：一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器，任务监视器，项目管理器以及结果查看器。Python脚本控制，可以用任何你喜欢的html解析包。

以上就是关于selenium webdriver 怎么抓页面的js error全部的内容，包括:selenium webdriver 怎么抓页面的js error、网页上通过ajax异步加载的数据有什么办法抓取到吗、Python什么爬虫库好用等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！