使用phantomjs抓取ITC和android market的安装统计数据 | 蓝色的华

使用phantomjs抓取ITC和android market的安装统计数据 | 蓝色的华

使用phantomjs抓取ITC和android market的安装统计数据

同事用python抓各大andriod市场的页面分析软件下载量，发现andriod　market的数据是通过ajax加载的，而且貌似加密过了，没法直接解析。后来俺发现了phantomjs这个命令行的webkit,在可以在命令行渲染网页，这样不论数据怎么加载，怎么加密，对于标准的浏览器都无能为力了。软件的原理跟以前介绍的一个命令行web截图工具一样,内嵌一个qt4的webkit，然后渲染到xvfb虚拟出的xserver上。不同是这个提供了js的api，用起来方便，可以用来做爬虫，站点监控，服务端截图。

使用方法：

第一步,安装phantomjs

Mac os & windows:

直接下载.dmg或.exe安装包即可:http://code.google.com/p/phantomjs/downloads/list

mac下安装完闭，可执行文件的路径:/Applications/phantomjs.app/Contents/MacOS/phantomjs

ubuntu:

sudo add-apt-repository ppa:jerome-etienne/neoip
sudo apt-get update
sudo apt-get install phantomjs

欢迎分享，转载请注明来源：内存溢出

原文地址: http://outofmemory.cn/zaji/2088275.html