python爬虫之xpath的基本使用详解

python爬虫之xpath的基本使用详解

一、简介

XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。XPath 是 W3C XSLT 标准的主要元素，并且 XQuery 和 XPointer 都构建于 XPath 表达之上。 

二、安装

pip3 install lxml 

三、使用

1、导入

from lxml import etree 

2、基本使用

from lxml import etree
wb_data = """
    
      

  
first item

  
second item

  
third item

  
fourth item

  
fifth item

     

    """
html = etree.HTML(wb_data)
print(html)
result = etree.tostring(html)
print(result.decode("utf-8")) 

从下面的结果来看，我们打印机html其实就是一个python对象，etree.tostring(html)则是不全里html的基本写法，补全了缺胳膊少腿的标签。

 

      

  
first item

  
second item

  
third item

  
fourth item

  
fifth item


     
     

3、获取某个标签的内容(基本使用)，注意，获取a标签的所有内容，a后面就不用再加正斜杠，否则报错。

写法一

html = etree.HTML(wb_data)

html_data = html.xpath('/html/body/div/ul/li/a')

print(html)

for i in html_data:

  print(i.text)



first item

second item

third item

fourth item

fifth item 

写法二（直接在需要查找内容的标签后面加一个/text()就行）

html = etree.HTML(wb_data)

html_data = html.xpath('/html/body/div/ul/li/a/text()')

print(html)

for i in html_data:

  print(i) 



first item

second item

third item

fourth item

fifth item 

4、打开读取html文件

#使用parse打开html的文件

html = etree.parse('test.html')

html_data = html.xpath('/a/span')
#   print(v)

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持考高分网。