如何用python爬取js渲染加载的视频文件

可以使用selenium+ phantomjs

PhantomJS是一个基于webkit的JavaScript API。它使用QtWebKit作为它核心浏览器的功能，使用webkit来编译解释执行JavaScript代码。任何你可以在基于webkit浏览器做的事情，它都能做到。它不仅是个隐形的浏览器，提供了诸如CSS选择器、支持Web标准、DOM *** 作、JSON、HTML5、Canvas、SVG等，同时也提供了处理文件I/O的 *** 作，从而使你可以向 *** 作系统读写文件等。PhantomJS的用处可谓非常广泛，诸如前端无界面自动化测试（需要结合Jasmin）、网络监测、网页截屏等。

如何利用 QT 进行 web 与本地混合应用开发是本文要讲述的内容，Qt提供了本地 C++对象与JavaScript的无缝集成，是进行本地与web混合应用开发的理想平台。

一、Qt Webkit 集成

利用Qt的Webkit 集成与QtNetwork模块，你完全可以进行本地桌面与web混合应用开发，你可以自由地混合JavaScript，样式表，Web内容和Qt组件。 Webkit是一个非常成熟的web浏览引擎。Qt中集成了这个大名鼎鼎的引擎，通过QtWebkit，你可以在C++ 中执行JavaScript，或者在网页中集成C++对象，并且通过JavaScript和这些对象进行交互。

一个现代的HTML渲染引擎只 是混合开发的一半，另一半就是本地应用和渲染对象的交互。QT的Webkit 集成提供了这种解决方案：

1使用object标签嵌入Qt Widgets组件。这可以让使用C++代码的Qt组件包含在网页中，作为网页的部分外观。

2在JavaScript中访问C++对象。你 可以在JavaScript环境中插入C++对象，让网页脚本直接访问你的数据结构。

3在Qt中执行JavaScript。你可以在C++ 调用网页环境中的JavaScript函数，触发网页事件。

4共享客户端存储。在JavaScript和C++中你都具有访问数据库的能 力，这样当下线时也能共享大量数据。

二、与嵌入的Qt对象交互

使用 QWebView 组件，有两种方法可以在网页中嵌入C++对象。你可以在网页的JavaScript中添加C++对象，或者也可以创建一个插件，然后在网页中使用 object标签嵌入。

第二种方法更容易入手。当在网页中放入 Widget组件时，它的所有public slots就像普通函数一样被网页中的JavaScript函数访问。

要在网页中添加一个Widget，首先要告诉你的QWebPage对象,该Widget可用,这个通过子类化QWebPlugFactory完成,

你需要 重新实现两个方法：plugs和create。plugs方法通知网页该Widget可用，create方法根据请求创建widget。

在 HTML网页中，widgets使用object标签创建。比如，下面这个标签试图创建一个 application/x-qt-colorlabel　组件。

<object type="application/x-qt-colorlabel" width="50px" height="20px" id="label" />

要利用这种创建，必须要允许使用插件并且要告诉QWebpage插件的工厂类。在下面的代码中，ColorLabelFactory将 会根据application/x-qt-colorlabel的请求创建相应实例。

QWebSettings::globalSettings()->setAttribute(QWebSettings::PluginsEnabled, true); webView->page()->setPluginFactory(newColorLabelFactory(this));

ColorLabel有一个公开的slot: chagneColor(),这个对于网页中的JavaScript自动可用。在网页中插入一个指向该元素的链接，可以以一种简单的方式激活C++函数。

<a href='javascript:documentgetElementById("label")changeColor();'>Change color!</a>

要反方向推进事件，必须要使你的对象在JavaScript文档上下文中可用。要对QWebPage的每一个 QWebFrame，调用addToJavaScriptWindowObject方法。这个方法允许你根据名字把一个对象添加到JavaScipt上下 文中。

webView->page()->mainFrame()->addToJavaScriptWindowObject( "eventSource", new eventSource( this ) );

要连接刚添加对象eventSource的信号，要加上一段JavaScript代码，使用evaluateJavaScript方法

完成。下面的代码将把eventSource对象的signalName信号连接到一个JavaScript函数destFunction。

webView->page()->mainFrame()->evaluateJavaScript( "eventSourcesignalNameconnect(destFunction);" );

如果你把一个对象添加到一个以标准浏览器查看的JavaScript页面中，有一个信号需要知道。每一次JavaScript

内容被清除，Frame都会释放 javaScriptWindowObjectCleared

信号。为了使你的Qt对象一直可用，你需要连接这个信号，并且在这里调用 addToJavaScriptWindowObject函数。

一、获取img标签的src属性值

var imgStr = "<p><img src='>

以上就是关于如何用python爬取js渲染加载的视频文件全部的内容，包括:如何用python爬取js渲染加载的视频文件、如何利用 QT 进行 web 与本地混合应用开发、js正则 获取元素属性值等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！