python 使用request模块的爬虫简单例子

概述安装requests模块以管理员身份使用命令行(cmd)进入到python安装目录下的Scripts文件夹在命令行中输入pipinstallrequests，等待安装完成即可使用requests模块importrequestsurl="https://www.sogou.com/web?query=lizncu"#在网页开发者工具中的netw 安装 requests 模块

以管理员身份使用命令行 (cmd) 进入到 python 安装目录下的 Scripts 文件夹

在命令行中输入 pip install requests ，等待安装完成即可

使用 requests 模块

import requestsurl = "https://www.sogou.com/web?query=lizncu"#在网页开发者工具中的 network 中找到 User-Agent#浏览器可能会识别出爬虫从而拒绝访问#加入 headers 使爬虫伪装的更像一些headers = {    "User-Agent" = "Mozilla/5.0 (windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.101 Safari/537.36 Edg/91.0.864.48"}resp = requests.get(url,headers = headers)    #根据网站选择get或者postwith open("C://Users//lixt6//Desktop//mysougou.HTML",mode="w",enCoding="Utf-8") as f:	f.write(resp.text)

用浏览器打开 mysougou.HTML 就可以啦

总结

以上是内存溢出为你收集整理的python 使用request模块的爬虫简单例子全部内容，希望文章能够帮你解决python 使用request模块的爬虫简单例子所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。