Python urllib库的基本使用

概述1.基本介绍Pythonurllib库用于 *** 作网页URL，并对网页的内容进行抓取处理。urllib库主要包含以下几个模块：urllib.request#打开和读取urlurllib.error#包含了该库抛出的异常urllib.parse#解析urlurllib.robotparser#解析robots.txt文件robots.txt文件：当蜘蛛访 1.基本介绍

Python urllib 库用于 *** 作网页 URL，并对网页的内容进行抓取处理。

urllib 库主要包含以下几个模块：

urllib.request # 打开和读取urlurllib.error #包含了该库抛出的异常urllib.parse #解析urlurllib.robotparser #解析 robots.txt 文件

robots.txt 文件：当蜘蛛访问网站时，首先会去访问网站根目录下的robots.txt文件，会按照这个文件中指定的robots协议不去抓取网站中的部分内容。简单概括的话，robots文件就是控制搜索引擎的蜘蛛抓取网站内容的协议。

2.简单使用

urllib.request 可以模拟浏览器的一个请求发起的过程。

urllib.request.urlopen方法来开发一个URL，语法格式如下：

def urlopen(url, data=None, timeout=socket._GLOBAL_DEFAulT_TIMEOUT,            *, cafile=None, capath=None, cadefault=False, context=None):

url：url 地址。data：发送到服务器的其他数据对象，默认为 None。timeout：设置访问超时时间。cafile 和 capath：cafile 为 CA 证书， capath 为 CA 证书的路径，使用 httpS 需要用到。cadefault：已经被弃用。context：ssl.SSLContext类型，用来指定 SSL 设置。

http://www.httpbin.org 是一个可以检测请求的一个网站工具

发起一个简单get请求

import urllib.requesturl = "http://www.httpbin.org/get"result = urllib.request.urlopen(url)print(result.read().decode('utf-8')) #对获取到的网页进行utf-8解码print(result.getcode()) # 200,返回状态码print(result.getheaders()) # 获取所有responseheaderprint(result.getheader("Server")) # 获取responseheader中的Server参数

发一个简单的post请求,当存在data值的时候，就是post请求

import urllib.parseurl = "http://www.httpbin.org/post"params = {"hello": "world"}data = urllib.parse.urlencode(params).encode("utf-8") # 对Json参数进行编码result = urllib.request.urlopen(url=url, data=data)print(result.read().decode())

超时 timeout

try:    url = "http://www.httpbin.org/get"    result = urllib.request.urlopen(url, timeout=0.01) # 单位：秒    print(result.read().decode())except urllib.error.URLError as e:    print("Time out! ==> {0}".format(e))

发送复杂请求

url = "http://www.httpbin.org/post"headers = {    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36",    "X-Amzn-Trace-ID": "Root=1-60d6a949-50a80ada4a3a35b9521a5e6d"}req = urllib.request.Request(url=url, headers=headers, method="POST")result = urllib.request.urlopen(req)print(result.read().decode('utf-8'))

class Request:    def __init__(self, url, data=None, headers={},origin_req_host=None, unverifiable=False,method=None):

构建Request对象，然后把该对象放入urllib.request.urlopen(req);

url：请求路径headers：请求头method：请求方式,GET,POST,PUT...

注意：

当发送请求的时候，如果返回的错误码是418，这表示你请求的网站知道你是从urllib发送的请求，不允许你请求，所以我们需要添加headers请求头，伪装自己是浏览器发起的请求，如上的header的请求头。当出现如下异常时，是因为Python 2.7.9 之后版本引入了一个新特性：当你urllib.urlopen一个 https 的时候会验证一次 SSL 证书 ，当目标使用的是自签名的证书时就会爆出该错误消息。

<urlopen error [SSL: CERTIFICATE_VERIFY_Failed] certificate verify Failed: unable to get local issuer certificate (_ssl.c:1129)>

解决办法：

import sslssl._create_default_https_context = ssl._create_unverifIEd_context

总结

以上是内存溢出为你收集整理的Python urllib库的基本使用全部内容，希望文章能够帮你解决Python urllib库的基本使用所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。