全方面的掌握Requests库的使用【python爬虫入门进阶】（02）

上一篇文章简单的介绍了 爬虫相关的基础知识点，介绍了一个标准爬虫程序的三个步骤 。这篇文章就让我们接着来学习。

本文重点介绍requests库的使用以及爬虫协议。之前也写了一篇 Requests库使用的博客 ，有兴趣的小伙伴可以去看看。

前面介绍了Requests库是用来抓取网页源码，请求接口的利器，整体上是要比urllib库的request更加好用的库。官网上将其称之为唯一一个非转基因的Python HTTP库，人类可以安全享用。

Requests库有7个主要方法。

不过我们平常最常用的方法还是GET方法和POST方法。

get请求方法是爬虫中最常用到的方法，因为爬虫主要就是爬取网页的信息。最基础的使用是

这里需要通过 res.encoding='utf-8' 设置响应结果的编码格式是utf-8。不然可能会出现中文乱码

如果响应结果是二进制数据的话则需要通过 res.content 方法来提取响应结果。

设置编码的方式也可以是 res.content.decode('utf-8') 。

即

有时候get请求也需要传入参数，这里可以直接将参数拼接到URL上或者通过params参数传入一个字典。

运行结果是：

get请求只能传入简单的参数，如果参数比较复杂或者传入的参数比较多的话则GET请求就不再适用了，这时候就需要适用post请求方法了。

Post请求的请求类型有三种：

以表单的方式提交数据是POST请求的默认的请求格式，只需要将参数放在一个字典中进行传入即可。

这里将请求头的数据放在一个名为header的字典中，然后在请求时通过headers参数传入。在请求中设置了内容类型是 application/json ,编码格式是 charset=utf-8

传入的是一个json字符串，通过data参数进行传入。json字符串可以直接写也可以通过 json.dumps(dict) 方法将一个字典序列化,就像下面这样。

文件上传与本节爬虫的内容无关，在此就不过多介绍了。有兴趣的小伙伴可以看看 Python中如何编写接口，以及如何请求外部接口 这篇文章。

在网络请求中，我们常常会遇到状态码是3开头的重定向问题，在Requests中是默认开启允许重定向的，即遇到重定向时，会自动继续访问。通过将allow_redirects 属性设置为False不允许重定向。

通过timeout属性可以设置超时时间，单位是秒。get方法和post方法均可设置。

通过status_code属性可以获取接口的响应码。

有时候我们使用了抓包工具，这时候由于抓包证书提供的证书并不是受信任的数字证书颁发机构颁发的，所以证书的验证会失败，所以我们就需要关闭证书验证。在请求的时候把verify参数设置为False就可以关闭证书验证了。

爬虫协议也叫做robots协议，告诉网络蜘蛛哪些页面可以爬取，哪些页面不能爬取

爬虫文件的规范是：

允许所有的机器人

本文详细介绍了Request库的使用

向服务器发送请求时设置编码方式为中文（gb2312），防止乱码的出现。

请求编码，对应的是response.setChareacterRncding()是设置响应编码方式。防止乱码

jsp页面显示中文乱码： jsp页面的编码方式有两个地方需要设置： <%@ page language="java" import="java.util.*" pageEncoding="utf-8"%><%@ page contentType="text/htmlcharset=utf-8"%>其中：pageEncoding 指的是jsp文件本身在本地保存时的编码方式。contentType的charset是指服务器发送网页内容给客户端时所使用的编码。 从第一次访问一个jsp页面开始，到这个页面被发送到客户端，这个Jsp页面要经过三次编码转换： 第一阶段是jsp编译成.java，它会根据pageEncoding的设定读取jsp，结果是由指定的编码方案翻译成统一的UTF-8 JAVA源码（即.java），如果pageEncoding设定错了，或没有设定，出来的就是中文乱码。 第二阶段是由JAVAC的JAVA源码至java byteCode的编译，不论JSP编写时候用的是什么编码方案，经过这个阶段的结果全部是UTF-8的encoding的java源码。 JAVAC用UTF-8的encoding读取java源码，编译成UTF-8 encoding的二进制码（即.class），这是JVM对常数字串在二进制码（java encoding）内表达的规范。 第三阶段是Tomcat（或其的application container）载入和执行阶段二的来的JAVA二进制码，输出的结果，也就是在客户端见到的，这时隐藏在阶段一和阶段二的参数contentType就发挥了功效 所以最终的解决方法为： 在jsp页面设置pageEncoding或者contentType的其中一个为支持中文的编码格式（如utf-8，gbk,gb2312）。因为设置一个的话，另一个默认会和它一样。 如果两个都设置的话，必须保证两个都是支持中文编码（不一定要一样）。 最佳建议设置如下： <%@ page language="java" import="java.util.*" pageEncoding="utf-8"%><%@ page contentType="text/htmlcharset=utf-8"%> 2. post方式传值乱码： 由于post方式传值是通过request存储的，在另一个页面也是通过request.getParameter(String name)来提取信息，所以这种情况下的乱码主要是因为request存储信息的编码设置导致的。post提交时，如果没有设置提交的编码格式，则会以iso8859-1方式进行提交，接受的jsp却以utf-8的方式接受。所以使用如下语句即可得到单个正确的中文字符串：String str = new String(request.getParameter("something").getBytes("ISO-8859-1"),"utf-8") 解决方法： 在接收页面设置request.setCharacterEncoding("UTF-8")。最好通过过滤器实现每个页面都设置为request.setCharacterEncoding("UTF-8")。 3. get方式传值乱码： get方式传值有两种，一种是表单get传值，另一种是url地址传值（实质上这两种方式都是通过url参数的方式传值）。 表单方式get传值： 表单方式get传值的编码过程为，首先浏览器根据页面的charset编码方式对传值进行编码，然后提交至服务器交给tomcat，tomcat对这些信息进行解码时，采用的解码方式是由server.xml文件中的URIEncoding设置决定的，也就是说，当我们使用命令request.getParameter("")获取表单参数值时，得到的字符串，经过了charset的编码和URIEncoding的解码。 由上所知，只要charset的编码和URIEncoding的解码一致，并且支持中文，就能保证没有乱码。 设置URIEncoding的方法如下： 方法一： 修改$TOMCAT/conf/server.xml文件，在HTTP Connector或者AJP Connector的配置加上URIEncoding="gbk" <... maxThreads="150" minSpareThreads="25" maxSpareThreads="75"

enableLookups="false" redirectPort="8443" acceptCount="100"

connectionTimeout="20000" disableUploadTimeout="true" URIEncoding="gbk" />方法二: 使用useBodyEncodingForURI="true". 这个方法适合你的TOMCAT实例下需要跑多个不同Encoding的程序时。 <... maxThreads="150" minSpareThreads="25" maxSpareThreads="75"

enableLookups="false" redirectPort="8443" acceptCount="100"

connectionTimeout="20000" disableUploadTimeout="true" useBodyEncodingForURI="true" /> enableLookups="false" redirectPort="8443" protocol="AJP/1.3" useBodyEncodingForURI="true" />在Tomcat配置中，连接器(HTTP Connector)属性中有一个URIEncoding和

useBodyEncodingForURI属性,这两个属性设置对URL后的附加参数进行URL解码时该如何选择 字符集编码。URIEncoding用于制定URL后的附加参数的字符集编码，useBodyEncodingForURI 则说明是否采用实体内容的字符集编码设置来替代URIEncoding的设置，也就是说当 useBodyEncodingForURI属性设置为true时ServletRequest.setCharacterEncoding方法设置的字符集编码也影响getParameter等方法对URL地址后的参数进行URL解码的结果。(在/%TomCat_Home%/ conf\server.xml文件中找到 <Connector>标记，然后在后面加上useBodyEncodingForURI=true) url方式get传值乱码： 于这种方式，浏览器不会采用页面的charset方式对URL中的中文进行编码后提交至服务器(IE,FireFox都一样)，而是采用系统的GBK转码为ISO-8859-1之后提交至服务器tomcat，所以这个过程为： 首先，url地址中的中文被从gbk转换成ISO-8859-1，交给tomcat后，又被tomcat根据URLEcoding解码，这种情况，只有把URLEcoding设置为gbk才能在request.getParameter("")时不出现乱码。但是这样就会影响到上面的配置，所以一个好的解决方法是，使用java.net.URLEcoder和URLDecoder对地址中的中文进行手动编码和解码。 所以一个万全的解决方法为： 1.所有页面的charset设置为UTF-8。 2.Tomcat的URIEncoding默认是ISO-8859-1，而我设置为UTF-8，主要是想解决中文命名的文件以及请求以get方式提交有可能出现的乱码问题。 3.添加过滤器，调用request.setCharacterEncoding("utf-8")方法将request的字符集设定为utf-8，解决请求以post方式提交的乱码问题。 4. url地址中存在中文参数时，首先对中文参数使用URLEcoder编码为utf-8，然后在request.getParameter("")接收到参数后再使用URLDecoder还原。例如： From.jsp页面： <%String username = "张某某" username = URLEncoder.encode(username,"utf-8") %> <a href="to.jsp?param=<%=username %>">转入</a>To.jsp页面 <%=URLDecoder.decode(request.getParameter("param"),"utf-8")%>

---