4种Python爬虫（3. 微信小程序，如，超级猩猩）

目录:

1. PC网页爬虫

2. H5网页爬虫

3. 微信小程序爬虫

4. 手机APP爬虫

爬取超级猩猩的课表，该平台仅提供了微信小程序这一个途径，前面两种针对html网槐举页的爬取方式都不再适用。

采用抓包分析是我们制定方案的第一步。

我用的Mac电脑，fiddler只有一个简化版，所以另找了Charles这个类似的软件。启动Charles的代理，在手机WIFI中设置好对应的代理就可以开抓了。但是，抓到的https包的内容都是乱码，咋办？

Charles中提供了ssl证书，在手机端安装证书即可。推荐使用iPhone，直接安装描述文件即可。Android手机必须使用吵配系统版本在7.0以下的才行，7.0以上还需要反编译什么的，太麻烦了。

很容易的定位到了超级猩猩微信小程序载入课表的后台接口。拿这个URL在浏览器里访问试试，直接返回了json结果！超级猩猩很友好！

提取对应的铅碰碧URL，放到浏览器中验证，也可以支持返回json包，剩下就是分析一下这个json的数据结构，按照需要的方式导出了。

直接通过接口的爬取效率非常高，几秒钟就拉取了全国各个门店的排课，相当舒心。（下图的录屏没有进行加速）

最后一个挑战就是对只有Android/iOS的APP端应用数据的爬取。请看下一章

请点击： <下一页>

python 怎么加载 fiddlercore4.dll

1. 右野袭击 “Username or email” 字段，选择“查看元素”。我们将使用 “name” 属性为 “username” 的输入框的值。“username”将会是 key 值，我茄缺们的用户名/电子邮箱就是颤脊辩对应的 value 值（在其他的网站上这些 key 值可能是 “email”，“ user_name”，“ login”，等等）。

2. 右击 “Password” 字段，选择“查看元素”。在脚本中我们需要使用 “name” 属性为

“password” 的输入框的值。“password” 将是字典的 key 值，我们输入的密码将是对应的 value

值（在其他网站key值可能是 “userpassword”，“loginpassword”，“pwd”，等等）。

3. 在源代码页面中，查找一个名为 “csrfmiddlewaretoken” 的隐藏输入标签。“csrfmiddlewaretoken”

将是 key 值，而对应的 value 值将是这个隐藏的输入值（在其他网站上这个 value 值可能是一个名为 “csrftoken”，“ authenticationtoken” 的隐藏输入值）。列如：“Vy00PE3Ra6aISwKBrPn72SFml00IcUV8”。

---