如何用Python爬虫抓取JS动态筛选内容

打开浏览器，以google chrome为例，输入你上面的网址。

然后按F12打开调试窗口，然后尝试勾选左边某一个选项，马上可以看到右边的调试窗口有东西输出。

找到第一个输出的行，点击header，可以看到每一个都是用的post方法。

所以只需要构造相应的header并post上去，就可以得到你想要的数据了。

尝试每一个request都点开看一下

就是你要构造的数据

FormData就是你要构造的数据

把数据构造好然后使用post函数发送给网站

这个得到的是一个网页格式的数据。

而这个发放返回的是json数据，然后编码成dict格式 提取出数据就可以了。

js代码是需要js引擎运行的，Python只能通过HTTP请求获取到HTML、CSS、JS原始代码而已。

不知道有没有用Python编写的JS引擎，估计需求不大。

我一般用PhantomJS、CasperJS这些引擎来做浏览器抓取。

直接在其中写JS代码来做DOM *** 控、分析，以文件方式输出结果。

让Python去调用该程序，通过读文件方式获得内容。

---