返回顶部

收藏

python 微信爬虫

更多
# -*- coding: utf-8 -*-
import sys
reload(sys)
import datetime
import time
sys.setdefaultencoding("utf-8")

from ghost import Ghost
ghost = Ghost(wait_timeout=20)

url="http://weixin.sogou.com/gzh?openid=oIWsFt8JDv7xubXz5E3U41T0eFbk"
page,resources = ghost.open(url)
result, resources = ghost.wait_for_selector("#wxmore a")

from bs4 import BeautifulSoup
c=0
while True:
    if c>=30:
        break

    soup = BeautifulSoup(ghost.content)

    for wx in soup.find_all("h4"):
        print wx

    page, resources = ghost.evaluate(
        """
        var div1 = document.getElementById("wxbox");
        div1.innerHTML = '';
        """)
    ghost.click("#wxmore a")
    result, resources = ghost.wait_for_selector(".wx-rb3")

    c=c+1
    pass

标签:python

收藏

0人收藏

支持

0

反对

0

相关聚客文章
  1. fox64194167 发表 2018-05-26 22:31:24 python 找不同 Find the Difference
  2. fox64194167 发表 2018-05-26 23:35:27 python 两个数组的交集 intersection of two arrays
  3. fox64194167 发表 2018-05-26 23:53:35 python 寻找重复的数
  4. fox64194167 发表 2018-05-27 00:12:22 python 搜索插入位置
  5. fox64194167 发表 2018-05-27 11:50:16 python *args **kwargs
  6. fox64194167 发表 2018-05-27 11:58:49 python enumerate
  7. 博主 发表 2018-05-26 10:51:09 SQLAlchemy 使用自定义 Query 类
  8. fox64194167 发表 2018-05-25 23:13:20 python plotly 进行数据可视化
  9. fox64194167 发表 2018-05-26 03:16:38 python lambda
  10. fox64194167 发表 2018-05-26 05:38:48 python 正则表达式
  11. fox64194167 发表 2018-05-26 06:22:33 python 使用 redis
  12. fox64194167 发表 2018-05-26 06:49:56 python 单例

发表评论