python爬虫：urllib库的简单使用

概述 1importurllib.request2#获取一个get请求3response=urllib.request.urlopen("http://www.baidu.com")打开网页并返回网页内容给responseprint(response.read().decode('utf-8'))#对获取到的网页进行utf-8解码  用于测试HTTP/HTTPS请求的网站   1

 

1 import urllib.request2 #获取一个get请求3 response = urllib.request.urlopen("http://www.baIDu.com")

    打开网页并返回网页内容给response
 print(response.read().decode('utf-8')) #对获取到的网页进行utf-8解码

 

 

用于测试http/httpS请求的网站

 

 

 

1 #获取一个post请求2 3 import urllib.parse4 data = bytes(urllib.parse.urlencode({"hello":"world"}),enCoding="utf-8")5 response = urllib.request.urlopen("http://httpbin.org/post",data= data)6 print(response.read().decode("utf-8"))

 

 

#获取一个get请求 import urllib.parse response = urllib.request.urlopen("http://httpbin.org/get") print(response.read().decode("utf-8"))

 

 

 

 

如果访问超时，或者对方网页不予返回信息，(防止程序卡死)应该如何处理。

#超时处理try:     response = urllib.request.urlopen("http://httpbin.org/get", timeout=10)
     print(response.read().decode("utf-8")) #对网页信息进行utf-8解码
except urllib.error.URLError as e: 
     print("time out!")

 

 

简单解析网页信息

response = urllib.request.urlopen("http://www.baIDu.com")print(response.status) #查看状态信息(200/404/500/418)print(response.getheaders())#查看Response headers中的信息 print(response.getheader("Server"))#查看Response headers中的Server属性值(查看单一属性值)

 

 

将爬虫伪装成浏览器，以避免被网站识破，返回418信息。

 

总结

以上是内存溢出为你收集整理的python爬虫：urllib库的简单使用全部内容，希望文章能够帮你解决python爬虫：urllib库的简单使用所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。