全方面的掌握Requests库的使用【python爬虫入门进阶】(02)

全方面的掌握Requests库的使用【python爬虫入门进阶】(02),第1张

上一篇文章简单的介绍了 爬虫相关的基础知识点,介绍了一个标准爬虫程序的三个步骤 。这篇文章就让我们接着来学习。

本文重点介绍requests库的使用以及爬虫协议。之前也写了一篇 Requests库使用的博客 ,有兴趣的小伙伴可以去看看。

前面介绍了Requests库是用来抓取网页源码,请求接口的利器,整体上是要比urllib库的request更加好用的库。官网上将其称之为唯一一个非转基因的Python >

在 Python 中进行网页数据抓取时,如果需要发送 POST 请求,需要将需要提交的数据写在 post 的 data 字段中。具体写法如下:

其中,data 参数的值是一个字典类型,里面包含需要提交的数据。根据实际需要修改参数名和参数值即可。

你这个问题实际就是浏览器是如何解码的!

大部分网页在header 都给定了编码方式的,否则浏览器也无法判断是什么编码

默认使用GBK 的编码,中文网站大部分都是用的这个编码方式,兼容英文

在测试用例中,执行完测试用例后,最后一步是判断测试结果是 pass 还是 fail,自动化测试脚本里面一般把这种生成测试结果的方法称为断言assert。

接口请求断言是指在发起请求之后,对返回的响应内容去做判断,用来查看是否响应内容是否与规定的返回值相符。

在发起请求后,我们使用一个变量 r 存储响应的内容,也就是 Response 对象。

Response 对象有很多功能强大的方法可以调用,比如直接获取响应头,获取 Unicode 编码后的响应内容,获取二进制的响应内容,获取原始的响应内容等等。

接下来我们就详解

对接口服务发起 >

以上就是关于全方面的掌握Requests库的使用【python爬虫入门进阶】(02)全部的内容,包括:全方面的掌握Requests库的使用【python爬虫入门进阶】(02)、pycharm爬取网站数据的时候中没有response、关于网页数据抓取HXR,python写法,这个post的data要如何写等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/web/9791345.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-02
下一篇 2023-05-02

发表评论

登录后才能评论

评论列表(0条)

保存