python之网络爬虫与信息提取

     前提说明：在学习了一定的python基础后，方可继续学习网络爬虫方面的内容。如果没有python基础语法的学习，可以浏览python基础语法笔记总结。

目录

• 一、网络爬虫之规则
• • 1、Requests库入门
  • • 1.1、get()方法
    • 1.2、Requests库的异常
    • 1.3、爬取网页的通用代码框架
    • 1.4、HTTP协议
    • 1.5、Requests库主要解析
  • 2、Robots协议
  • 3、Requests库网络爬虫实战
  • • 3.1、百度搜索关键字
    • 3.2、网络图片的爬取和存储
• 二、网络爬虫之提取
• • 1、Beautiful Soup库的使用
  • • 1.1、基本元素
    • 1.2、基于bs4库的HTML内容遍历方法
    • 1.3、基于bs4库的HTML格式化和编码
  • 2、信息组织与提取方法
  • • 2.1、信息标记
    • 2.2、信息提取的一般方法
    • 2.3、基于bs4库的HTML内容查找方法
  • 3、实例：大学排名信息

一、网络爬虫之规则 1、Requests库入门

方法	说明
requests.request()	构造一个请求，支撑以下各方法的基础方法
requests.get()	获取HTML网页的主要方法，对应于HTTP的get
requests.head()	获取HTML网页头信息的方法，对应于HTTP的head
requests.post()	向HTML网页提交POST请求的方法，对应于HTTP的post
requests.put()	向HTML网页提交PUT请求方法，对应于HTTP的put
requests.patch()	向HTML网页提交局部修改请求，对应于HTTP的patch
requests.delete()	向HTML页面提交删除请求，对应于HTTP的delete

1.1、get()方法

r = requests.get(url)	#构造一个向服务器请求资源的Request对象，返回一个Resopnse对象r

​ requests.get(url,params=None,**kwargs)

​ url:拟获取页面的url链接

​ params:url中的额外参数，字典或字节流格式，可选

​ **kwargs:12个控制访问的参数

属性	说明
r.status_code	HTTP请求的返回状态，200表示连接成功，404表示失败
r.text	HTTP响应内容的字符串形式，即，url对应的页面内容
r.encoding	从HTTPheader中猜测的响应内容编码方式
r.apparent_encoding	从内容中分析除的响应内容编码方式（备选编码方式）
r.content	HTTP响应内容的二进制形式

​ 注：r.encoding:如果header中不存在charset，则认为编码为ISO-8859-1,这样的编码不能解析中文。当r.encoding不能正确解码时，需要使用r.apparent_encoding，把获取的编码赋给r.encoding，就可正确解析

#爬取案例
import requests
r = requests.get("http://www.baidu.com")
print(r.status_code) #状态码200
print(r.encoding)   #ISO-8859-1
#   print(r.text)   不能成功解码
print(r.apparent_encoding)#utf-8
r.encoding = 'utf-8'    #修改编码方式
print(r.text)   #成功获取

1.2、Requests库的异常

异常	说明
requests.ConnectionError	网络连接错误异常，如DNS查询失败、拒绝连接等
requests.HTTPError	HTTP错误异常
requests.URLRequired	URL缺失异常
requests.TooManyRedirects	超过最大重定向次数，产生重定向异常
requests.ConnectTimeout	连接远程服务器超时异常
requests.Timeout	请求URL超时，产生超时异常

1.3、爬取网页的通用代码框架

import requests

def getHTMLText(url):
    try:
        r = requests.get(url,timeout=30)
        r.raise_for_status() #如果状态不是200，引发HTTPError异常
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "产生异常"

if __name__ == "__main__":
    url = "http://www.baidu.com"	#选择爬取的网页
    print(getHTMLText(url))

1.4、HTTP协议

​ HTTP协议，是一种超文本传输协议。

​ HTTP是一个基于“请求与响应”模式的、无状态的应用层协议。

​ HTTP协议对资源的 *** 作

方法	说明
GET	请求获取URL位置的资源
HEAD	请求获取URL位置资源的响应消息报告，即获得该资源的头部信息
POST	请求向URL位置的资源后附加新的数据
PUT	请求向URL位置存储一个资源，覆盖原URL位置的资源
PATCH	请求局部更新URL位置的资源，即改变改处资源的部分内容
DELETE	请求删除URL位置存储的资源

1.5、Requests库主要解析

requests.request(method,url,**kwargs)

​ method:请求方式，参考1.4的六种

​ **kwargs:控制访问的参数，均为可选项

参数类型	描述
params	字典或字节序列，作为参数增加道url种
data	字典、字节序列或文件对象，作为Request的内容
json	JSON格式的数据，作为Request的内容
headers	字典，HTTP定制头
cookies	字典或CookieJar，Request中的cookie
auth	元组，支持HTTP认证功能
files	字典类型，传输文件
timeout	设定超时时间，秒为单位
proxies	字典类型，设定访问代理服务器，可以增加登录认证

2、Robots协议

​ 作用：网站告诉爬虫哪些可以爬取，哪些不可以

​ 形式：在网站根目录下的robots.txt文件

​ 例：http://www.baidu.com/robots.txt

Robots协议的使用：

​ 网络爬虫：自动或人工识别robots.txt，在进行内容爬取。

​ 约束性:Robots协议是建议但非约束性，网络爬虫可以不遵守，但存在法律风险

3、Requests库网络爬虫实战

​ 模拟一个浏览器去访问网站：

kv = {"user-agent":"Mozilla/5.0"}
url = ""
r = requests.get(url,headers = kv)

3.1、百度搜索关键字

import requests

# 百度搜索关键字提交：
# 百度搜索关键字格式：http://www.baidu.com/s？wd=关键字
kv = {"wd":"Python"}    #输入需要查询的关键字
r = requests.get("http://www.baidu.com/s",params=kv)
print(r.status_code)
print(r.request.url) #查询提交的url是否为想提交的
print(len(r.text)) #查询有多少长度

3.2、网络图片的爬取和存储

import requests
import os

url = "http://img0.dili360.com/pic/2022/03/28/624109135e19b9603398103.jpg"
root = "D://pics//"
path = root + url.split('/')[-1]
try:
    if not os.path.exists(root):
        os.mkdir(root)
    if not os.path.exists(path):
        r = requests.get(url)
        with open(path,"wb") as f:
            f.write(r.content)
            f.close()
            print("文件保存成功")
    else:
        print("文件已存在")
except:
    print("爬取失败")

二、网络爬虫之提取 1、Beautiful Soup库的使用

from bs4 import BeautifulSoup
soup = BeautifulSoup(mk,"html.parser")

1.1、基本元素

​ Beautiful Soup库解析器

解析器	使用方法	条件
bs4的HTML解析器	BeautifulSoup(mk,“html.parser”)	安装bs4库
lxml的HTML解析器	BeautifulSoup(mk,“lxml”)	pip install lxml
lxml的XML解析器	BeautifulSoup(mk,“xml”)	pip install lxml
html5lib的解析器	BeautifulSoup(mk,“html5lib”)	pip install html5lib

​ Beautiful Soup类的基本元素

基本元素	说明
Tag	标签，最基本的信息组织单元，分别使用<>和标明开头和结尾
Name	标签的名字， … 的名字是’p’,格式：.name
Attributes	标签的属性，字典形式组织，格式：.attrs
NavigableString	标签内非属性字符串，<>…中字符串，格式：.string
Comment	标签内字符串的注释部分，一种特殊的Comment类型

1.2、基于bs4库的HTML内容遍历方法

​ 标签树的下行遍历

属性	说明
.contents	子节点的列表，将所有儿子节点存入列表
.children	子节点的迭代类型，与.contents类似，用于循环遍历儿子节点
.descendants	子孙节点的迭代类型，包含所有子孙节点，用于循环遍历

​ 标签树的下行遍历

属性	说明
.parent	节点的父亲标签
.parents	节点先辈标签的迭代类型，用于循环遍历先辈节点

​ 标签树的平行遍历

属性	说明
.next_sibling	返回按照HTML文本顺序的下一个平行节点标签
.previous_sibling	返回按照HTML文本顺序的上一个平行节点标签
.next_siblings	xu迭代类型，返回按照HTML文本顺序的后续所有平行节点标签
.previous_siblings	迭代类型，返回按照HTML文本顺序的前续所有平行节点标签

1.3、基于bs4库的HTML格式化和编码

​ prettify()：在html后自动增加换行，更好的观察标签树

​ 默认编码格式：utf-8

2、信息组织与提取方法 2.1、信息标记

信息的标记

​ 标记后的信息可形成信息组织结构，增加了信息维度

​ 标记后的信息可用于通信、存储或展示

​ 标记结构与信息一样具有重要价值

​ 标记后的信息更利于程序的理解和应用

​ XML：最早的通用信息标记语言，可扩展性好，但繁琐

​ JSON：信息有类型，适合程序处理(js)，较XML简洁

​ YAML：信息无类型，文本信息比例最高，可读性好

2.2、信息提取的一般方法

方法一：完整解析信息的标记形式，再提取关键信息

​ 需要标记解析器，例如：bs4库的标签树遍历

​ 优点：信息解析准确

​ 缺点：提取过程繁琐，速度慢

方法二：无视标记形式，直接搜索关键信息

​ 对信息的文本查找函数即可。

​ 优点：提取过程简洁，速度较快

​ 缺点：提取结果准确性与信息内容相关

融合方法：结合形式解析与搜索方法，提取关键信息。

​ 需要标记解析器及文本查找函数

实例：提取HTML中所有的URL链接

​ 思路：搜索到所有的标签，解析标签格式，提取href后的链接内容。

import requests
from bs4 import BeautifulSoup
r = requests.get("http://python123.io/ws/demo.html")
demo = r.text
soup = BeautifulSoup(demo,"html.parser")
for link in soup.find_all('a'):
    print(link.get('href'))

2.3、基于bs4库的HTML内容查找方法

<>.find_all(name, atrs, recursive, string, **kwargs)

​ 返回一个列表类型，存储查找的结果

​ name：对标签名称的索引字符串。

​ attrs：对标签属性值的检索字符串，可标记属性检索

​ recursive：是否对子孙全部检索，默认True

​ string：<>…中字符串区域的检索字符串

(…) 等价于 .find_all(…)

soup(…) 等价于 soup.find_all(…)

3、实例：大学排名信息

import bs4
import requests
from bs4 import BeautifulSoup

def getHTMLText(url):
    '''获取网页的文本'''
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()  # 如果状态不是200，引发HTTPError异常
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""

def fillUnivList(ulist,html):
    '''解析需要的文本，放入到列表中'''
    soup = BeautifulSoup(html,"html.parser")
    for tr in soup.find('tbody').children:
        if isinstance(tr,bs4.element.Tag):
            tds = tr('td')
            ulist.append([tds[0].string.strip('\n '),tds[1].a.string,tds[4].string.strip('\n ')])

def printUnivLIist(ulist,num):
    '''按格式化输出'''
    tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}"
    print(tplt.format("排名","学校名称","总分",chr(12288)))
    for i in range(num):
        u = ulist[i]
        print(tplt.format(u[0],u[1],u[2],chr(12288)))

def main():
    uinfo = []
    url = "https://www.shanghairanking.cn/rankings/bcur/2022"
    html = getHTMLText(url)
    fillUnivList(uinfo,html)
    printUnivLIist(uinfo,30)

main()