python爬取分页数据

python爬取分页数据,第1张

python爬取分页数据

今天需要到这个广东省科学技术厅网站上查一个办件信息,结果发现……

这个不能直接选页码也不能搜索的分页真是剧毒……好几百页让人怎么翻呢。。。

于是我果断F12看一下


可以看到请求的url和post的表单数据,复制到浏览器看看
这里最重要的参数就是pageNum(第几页)和pageSize(每页有多少条数据)
http://zwfw.gd.gov.cn/portal/xnjd/bjxx?pageNum=1&pageSize=10&orgCode=006939801&xzqhdm=440000&url=%2Fprocess-details&phase=5

果然是第一页的10条数据,可以改它的pagesize,但是我发现最大只能改到50,超过50就会请求失败了。
所以我就用python写个循环去请求每一页好了。pageNum就固定在50,用format来修改pageNum。
体总页数我也不知道,随便试了几次大概就是有4000多条数据。

import requests
import json

def start():
    url = "http://zwfw.gd.gov.cn/portal/xnjd/bjxx?pageNum={}&pageSize=50&orgCode=006939801&xzqhdm=440000&url=%2Fprocess-details&phase=5"
    for i in range(1, 100):
        url2 = url.format(i)
        res = requests.post(url2)
        print(res.text)
        
if __name__ == "__main__":
    start()

就会全部出现在控制台,ctrl+F就可以马上搜索到想要的流水号,不用慢慢翻页啦开心~

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/5443750.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-11
下一篇 2022-12-11

发表评论

登录后才能评论

评论列表(0条)

保存