Python爬虫xpath详解

Python爬虫xpath详解

目录

一、xpath介绍

二、安装lxml

三、xpath解析原理

四、实例化一个etree对象

五、xpath表达式

六、爬虫实战

---

一、xpath介绍

xpath是一门在 XML 文档中查找信息的语言。最初是用来搜寻 XML 文档的，但同样适用于 HTML 文档的搜索。所以在做爬虫时完全可以使用 XPath 做相应的信息抽取。

二、安装lxml

lxml是Python的一个第三方解析库，支持HTML和XML解析，而且效率非常高，弥补了Python自带的xml标准库在XML解析方面的不足。

由于是第三方库，所以在使用 lxml 之前需要先安装：pip install lxml

三、xpath解析原理

1.实例化一个etree的对象，且需要将被解析的页面源码数据加载到该对象中。

2.调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获。

四、实例化一个etree对象

 1.将本地的html文档中的源码数据加载到etree对象中：
        etree.parse(filePath)
 2.可以将从互联网上获取的源码数据加载到该对象中
        etree.HTML('page_text')

3.xpath('xpath表达式')

五、xpath表达式

• /:表示的是从根节点开始定位。表示的是一个层级。
•  //:表示的是多个层级。可以表示从任意位置开始定位。
•  属性定位：//div[@class='zhang'] tag[@attrName="attrValue"]
•  索引定位：//div[@]/p[3] 索引是从1开始的。
•   取文本：/text() 获取的是标签中直系的文本内容、//text() 标签中非直系的文本内容（所有的文本内容）
•   取属性： /@attrName     ==>img/src

六、爬虫实战

爬取二手房信息

import requests
from lxml import etree

# 使用xpath 爬取二手房信息

headers = {
    'User-Agent' :'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36'
}
url = 'https://bj.58.com/ershoufang/{0}/?PGTID=0d30000c-0000-1bdc-b1e5-d9efea8142e9&ClickID=1'
fp = open('58二手房.txt','w',encoding='utf-8')
for page in range(1,6):
    page = str(page)
    new_url = url.format(page)
    page_text = requests.get(url=new_url,headers=headers).text
    tree = etree.HTML(page_text)
    div_list = tree.xpath('//section[@]/div')
    for div in div_list:
        title = div.xpath('./a//h3/@title')[0]
        roomsAndHalls = div.xpath('./a//div[@]//span/text()')
        address = div.xpath('./a//div[@]//span/text()')
        house_year = div.xpath('./a//span[@]/text()')
        total_price = div.xpath('./a//p[@]//span/text()')
        total_area = div.xpath('./a//p[@]//text()')
        roomsAndHalls = ''.join(roomsAndHalls)
        address = ''.join(address)
        house_year = ''.join(house_year)
        total_price = ''.join(total_price)
        total_area = ''.join(total_area)
        # print(title)
        # print(''.join(roomsAndHalls))
        # print(''.join(address))
        # print(''.join(house_year))
        print(title+'======>'+roomsAndHalls+'======>'+address+'======>'+house_year+'======>'+total_price+'======>'+total_area)
        fp.write(title+'======>'+roomsAndHalls+'======>'+address+'======>'+house_year+'======>'+total_price+'======>'+total_area+'n')

其实xpath很简单，只要把表达式理解对就没啥大问题。详细代码：爬虫源码