环境搭建
准备工具：python3.5,selenium,phantomjs
我的电脑里面已经装好了python3.5
安装Selenium
1
pip3 install selenium
安装Phantomjs
按照系统环境下载phantomjs,下载完成之后，将phantomjs.exe解压到python的script文件夹下
使用selenium+phantomjs实现简单爬虫
1
2
3
4
5
6
7
8
9
from selenium import webdriver
driver = webdriver.PhantomJS()
driver.get('') #加载网页
data = driver.page_source #获取网页文本
driver.save_screenshot('1.png') #截图保存
print(data)
driver.quit()
selenium+phantomjs的一些使用方法
设置请求头里的user-Agent
1
2
3
4
5
6
7
8
9
10
11
12
from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
dcap = dict(DesiredCapabilities.PHANTOMJS) #设置useragent
dcap['phantomjs.page.settings.userAgent'] = ('Mozilla/5.0 (MacintoshIntel Mac OS X 10.9rv:25.0) Gecko/20100101 Firefox/25.0 ') #根据需要设置具体的浏览器信息
driver = webdriver.PhantomJS(desired_capabilities=dcap) #封装浏览器信息
driver.get(') #加载网页
data = driver.page_source #获取网页文本
driver.save_screenshot('1.png') #截图保存
print(data)
driver.quit()
请求超时设置
webdriver类中有三个和时间相关的方法：
1.pageLoadTimeout设置页面完全加载的超时时间，完全加载即完全渲染完成，同步和异步脚本都执行完
2.setScriptTimeout设置异步脚本的超时时间
3.implicitlyWait 识别对象的智能等待时间
1
2
3
4
5
6
7
from selenium import webdriver
driver = webdriver.PhantomJS()
driver.set_page_load_timeout(5) #设置超时时间
driver.get('')
print(driver.title)
driver.quit()
设置浏览器窗口大小
调用启动的浏览器不是全屏的，有时候会影响我们的某些 *** 作，所以我们可以设置全屏
1
2
driver.maximize_window() #设置全屏
driver.set_window_size('480','800') #设置浏览器宽480，高800
元素定位
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
from selenium import webdriver
driver = webdriver.PhantomJS()
driver.set_page_load_timeout(5)
driver.get('')
try:
driver.get('')
driver.find_element_by_id('kw') # 通过ID定位
driver.find_element_by_class_name('s_ipt') # 通过class属性定位
driver.find_element_by_name('wd') # 通过标签name属性定位
driver.find_element_by_tag_name('input') # 通过标签属性定位
driver.find_element_by_css_selector('#kw') # 通过css方式定位
driver.find_element_by_xpath("//input[@id='kw']") # 通过xpath方式定位
driver.find_element_by_link_text("贴吧") # 通过xpath方式定位
print(driver.find_element_by_id('kw').tag_name ) # 获取标签的类型
except Exception as e:
print(e)
driver.quit()
*** 作浏览器前进或后退
1
2
3
4
5
6
7
8
9
10
11
12
13
14
from selenium import webdriver
driver = webdriver.PhantomJS()
try:
driver.get('') #访问百度首页
driver.save_screenshot('1.png')
driver.get('') #
driver.save_screenshot('2.png')
driver.back() #回退到百度首页
driver.save_screenshot('3.png')
driver.forward()#前进到新浪首页
driver.save_screenshot('4.png')
except Exception as e:
print(e)
driver.quit()
有两种方式：一种像大家说的 模拟浏览器环境 用一些库来执行这些js 相关的库大家都提到了
但是这些库安装起来好像都很麻烦 而且对内存和cpu的消耗比较大 基本上不推荐
还有一种就是手动分析 这种我觉得是比较好的 js的作用的确很多 但是爬虫关注的是数据 js无非就是请求数据 或者请求回来以后再进行加工！
python的js解析，发现使用Selenium+PhantomJS的方案还是比较适合我的，以下是环境配置教程。Selenium及PhantomJS介绍：
Selenium是一个用于Web应用程序测试的工具，Selenium测试直接运行在浏览器中，就像真正的用户在 *** 作一样。支持的浏览器包括IE、Mozilla Firefox、Chrome等。
Phantom JS是一个服务器端的 JavaScript API 的 WebKit。其支持各种Web标准： DOM 处理, CSS 选择器, JSON, Canvas, 和 SVG。
安装环境：
Windows 7 （64位）
python 2.7.8
配置过程：
1、使用pip安装Selenium，如果没有安装pip的请参考我之前的博客文章。
命令： pip install -U selenium
2、安装PhantomJS，到PhantomJS的官方网站上下载，然后放到python的安装目录。
PhantomJS下载
如果想使用Chrome来实现解析的，请下载GG浏览器的相应驱动（同时需要安装chrome浏览器），如上图中的第一个程序，第二个程序就是PhantomJS了。
如果想使用Firefox来实现解析，则需要安装Selenium提供的firefox插件，位于python安装目录Lib\site-packages\selenium\webdriver\firefox\webdriver.xpi,请拖入到firefox浏览器中，然后重启浏览器即可。
Selenium+PhantomJS使用：
使用方法很简单，代码如下，如果成功打印出网站的标题，那么说明已经可以成功使用了。
from selenium import webdriver
driver = webdriver.PhantomJS() #webdriver.Firefox()driver.get('httpcn/')
print driver.title
driver.quit()
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）