W3School官方文档:http://www.w3school.com.cn/xml/index.asp
XML 和 HTML 的区别数据格式 | 描述 | 设计目标 |
---|---|---|
XML | Extensible MarkuP Language (可扩展标记语言) | 被设计为传输和存储数据,其焦点是数据的内容。 |
HTML | HyperText MarkuP Language (超文本标记语言) | 显示数据以及如何更好显示数据。 |
HTML DOM | document Object Model for HTML (文档对象模型) | 通过 HTML DOM,可以访问所有的 HTML 元素,连同它们所包含的文本和属性。可以对其中的内容进行修改和删除,同时也可以创建新的元素。 |
<?xml version="1.0" enCoding="utf-8"?><bookstore> <book category="cooking"> <Title lang="en">Everyday Italian</Title> <author>Giada De LaurentIIS</author> <year>2005</year> <price>30.00</price> </book> <book category="children"> <Title lang="en">Harry Potter</Title> <author>J K. Rowling</author> <year>2005</year> <price>29.99</price> </book> <book category="web"> <Title lang="en">Xquery Kick Start</Title> <author>James McGovern</author> <author>Per Bothner</author> <author>Kurt Cagle</author> <author>James linn</author> <author>VaIDyanathan Nagarajan</author> <year>2003</year> <price>49.99</price> </book> <book category="web" cover="paperback"> <Title lang="en">Learning XML</Title> <author>Erik T. Ray</author> <year>2003</year> <price>39.95</price> </book> </bookstore>
HTML DOM 模型示例
HTML DOM 定义了访问和 *** 作 HTML 文档的标准方法,以树结构方式表达 HTML 文档。
XML的节点关系 1. 父(Parent)每个元素以及属性都有一个父。
下面是一个简单的XML例子中,book 元素是 Title、author、year 以及 price 元素的父:
<?xml version="1.0" enCoding="utf-8"?><book> <Title>Harry Potter</Title> <author>J K. Rowling</author> <year>2005</year> <price>29.99</price></book>
2. 子(Children)
元素节点可有零个、一个或多个子。
在下面的例子中,Title、author、year 以及 price 元素都是 book 元素的子:
<?xml version="1.0" enCoding="utf-8"?><book> <Title>Harry Potter</Title> <author>J K. Rowling</author> <year>2005</year> <price>29.99</price></book>
3. 同胞(Sibling)
拥有相同的父的节点
在下面的例子中,Title、author、year 以及 price 元素都是同胞:
<?xml version="1.0" enCoding="utf-8"?><book> <Title>Harry Potter</Title> <author>J K. Rowling</author> <year>2005</year> <price>29.99</price></book>
4. 先辈(Ancestor)
某节点的父、父的父,等等。
在下面的例子中,Title 元素的先辈是 book 元素和 bookstore 元素:
<?xml version="1.0" enCoding="utf-8"?><bookstore><book> <Title>Harry Potter</Title> <author>J K. Rowling</author> <year>2005</year> <price>29.99</price></book></bookstore>
5. 后代(Descendant)
某个节点的子,子的子,等等。
在下面的例子中,bookstore 的后代是 book、Title、author、year 以及 price 元素:
<?xml version="1.0" enCoding="utf-8"?><bookstore><book> <Title>Harry Potter</Title> <author>J K. Rowling</author> <year>2005</year> <price>29.99</price></book></bookstore>什么是XPath?
XPath 开发工具 开源的XPath表达式编辑工具:XMLQuire(XML格式文件可用) Chrome插件 XPath Helper firefox插件 XPath Checker 选取节点XPath (XML Path Language) 是一门在 XML 文档中查找信息的语言,可用来在 XML 文档中对元素和属性进行遍历。
W3School官方文档:http://www.w3school.com.cn/xpath/index.asp
XPath 使用路径表达式来选取 XML 文档中的节点或者节点集。这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常相似。
下面列出了最常用的路径表达式:
表达式 | 描述 |
---|---|
nodename | 选取此节点的所有子节点。 |
/ | 从根节点选取。 |
// | 从匹配选择的当前节点选择文档中的节点,而不考虑它们的位置。 |
. | 选取当前节点。 |
.. | 选取当前节点的父节点。 |
@ | 选取属性。 |
在下面的表格中,我们已列出了一些路径表达式以及表达式的结果:
路径表达式 | 结果 | |
---|---|---|
bookstore | 选取 bookstore 元素的所有子节点。 | |
/bookstore | 选取根元素 bookstore。注释:假如路径起始于正斜杠( / ),则此路径始终代表到某元素的绝对路径! | |
bookstore/book | 选取属于 bookstore 的子元素的所有 book 元素。 | |
//book | 选取所有 book 子元素,而不管它们在文档中的位置。 | |
bookstore//book | 选择属于 bookstore 元素的后代的所有 book 元素,而不管它们位于 bookstore 之下的什么位置。 | |
//@lang | 选取名为 lang 的所有属性。 |
谓语用来查找某个特定的节点或者包含某个指定的值的节点,被嵌在方括号中。
在下面的表格中,我们列出了带有谓语的一些路径表达式,以及表达式的结果:
路径表达式 | 结果 |
---|---|
/bookstore/book[1] | 选取属于 bookstore 子元素的第一个 book 元素。 |
/bookstore/book[last()] | 选取属于 bookstore 子元素的最后一个 book 元素。 |
/bookstore/book[last()-1] | 选取属于 bookstore 子元素的倒数第二个 book 元素。 |
/bookstore/book[position()<3] | 选取最前面的两个属于 bookstore 元素的子元素的 book 元素。 |
//Title[@lang] | 选取所有拥有名为 lang 的属性的 Title 元素。 |
//Title[@lang=’eng’] | 选取所有 Title 元素,且这些元素拥有值为 eng 的 lang 属性。 |
/bookstore/book[price>35.00] | 选取 bookstore 元素的所有 book 元素,且其中的 price 元素的值须大于 35.00。 |
/bookstore/book[price>35.00]/Title | 选取 bookstore 元素中的 book 元素的所有 Title 元素,且其中的 price 元素的值须大于 35.00。 |
XPath 通配符可用来选取未知的 XML 元素。
通配符 | 描述 |
---|---|
* | 匹配任何元素节点。 |
@* | 匹配任何属性节点。 |
node() | 匹配任何类型的节点。 |
在下面的表格中,我们列出了一些路径表达式,以及这些表达式的结果:
路径表达式 | 结果 |
---|---|
/bookstore/* | 选取 bookstore 元素的所有子元素。 |
//* | 选取文档中的所有元素。 |
//Title[@*] | 选取所有带有属性的 Title 元素。 |
通过在路径表达式中使用“|”运算符,您可以选取若干个路径。
实例
在下面的表格中,我们列出了一些路径表达式,以及这些表达式的结果:
路径表达式 | 结果 |
---|---|
//book/Title | //book/price | 选取 book 元素的所有 Title 和 price 元素。 |
//Title | //price | 选取文档中的所有 Title 和 price 元素。 |
/bookstore/book/Title | //price | 选取属于 bookstore 元素的 book 元素的所有 Title 元素,以及文档中所有的 price 元素。 |
下面列出了可用在 XPath 表达式中的运算符:
这些就是XPath的语法内容,在运用到Python抓取时要先转换为xml。 lxml库初步使用lxml 是 一个HTML/XML的解析器,主要的功能是如何解析和提取 HTML/XML 数据。
lxml和正则一样,也是用 C 实现的,是一款高性能的 Python HTML/XML 解析器,我们可以利用之前学习的XPath语法,来快速的定位特定元素以及节点信息。
lxml python 官方文档:http://lxml.de/index.html
需要安装C语言库,可使用 pip 安装:
pip install lxml
(或通过wheel方式安装)
我们利用它来解析 HTML 代码,简单示例:
# lxml_test.py# 使用 lxml 的 etree 库from lxml import etree text = ‘‘‘<div> <ul> <li class="item-0"><a href="link1.HTML">first item</a></li> <li class="item-1"><a href="link2.HTML">second item</a></li> <li class="item-inactive"><a href="link3.HTML">third item</a></li> <li class="item-1"><a href="link4.HTML">fourth item</a></li> <li class="item-0"><a href="link5.HTML">fifth item</a> # 注意,此处缺少一个 </li> 闭合标签 </ul> </div>‘‘‘#利用etree.HTML,将字符串解析为HTML文档HTML = etree.HTML(text) # 按字符串序列化HTML文档result = etree.tostring(HTML) print(result)
输出结果:
<HTML><body><div> <ul> <li class="item-0"><a href="link1.HTML">first item</a></li> <li class="item-1"><a href="link2.HTML">second item</a></li> <li class="item-inactive"><a href="link3.HTML">third item</a></li> <li class="item-1"><a href="link4.HTML">fourth item</a></li> <li class="item-0"><a href="link5.HTML">fifth item</a></li></ul> </div></body></HTML>
lxml 可以自动修正 HTML 代码,例子里不仅补全了 li 标签,还添加了 body,HTML 标签。
文件读取:除了直接读取字符串,lxml还支持从文件里读取内容。我们新建一个hello.HTML文件:
<!-- hello.HTML --><div> <ul> <li class="item-0"><a href="link1.HTML">first item</a></li> <li class="item-1"><a href="link2.HTML">second item</a></li> <li class="item-inactive"><a href="link3.HTML"><span class="bold">third item</span></a></li> <li class="item-1"><a href="link4.HTML">fourth item</a></li> <li class="item-0"><a href="link5.HTML">fifth item</a></li> </ul> </div>
再利用 etree.parse() 方法来读取文件。
# lxml_parse.pyfrom lxml import etree# 读取外部文件 hello.HTMLHTML = etree.parse(‘./hello.HTML‘)result = etree.tostring(HTML,pretty_print=True)print(result)
输出结果与之前相同:
<HTML><body><div> <ul> <li class="item-0"><a href="link1.HTML">first item</a></li> <li class="item-1"><a href="link2.HTML">second item</a></li> <li class="item-inactive"><a href="link3.HTML">third item</a></li> <li class="item-1"><a href="link4.HTML">fourth item</a></li> <li class="item-0"><a href="link5.HTML">fifth item</a></li></ul> </div></body></HTML>
XPath实例测试 1. 获取所有的
<li>
标签 # xpath_li.pyfrom lxml import etreeHTML = etree.parse(‘hello.HTML‘)print type(HTML) # 显示etree.parse() 返回类型result = HTML.xpath(‘//li‘)print result # 打印<li>标签的元素集合print len(result)print type(result)print type(result[0])
输出结果:
<type ‘lxml.etree._ElementTree‘>[<Element li at 0x1014e0e18>,<Element li at 0x1014e0ef0>,<Element li at 0x1014e0f38>,<Element li at 0x1014e0f80>,<Element li at 0x1014e0fc8>]5<type ‘List‘><type ‘lxml.etree._Element‘>
2. 继续获取
<li>
标签的所有 class
属性 # xpath_li.pyfrom lxml import etreeHTML = etree.parse(‘hello.HTML‘)result = HTML.xpath(‘//li/@class‘)print result
运行结果
[‘item-0‘,‘item-1‘,‘item-inactive‘,‘item-0‘]
3. 继续获取
<li>
标签下hre
为 link1.HTML
的 <a>
标签 # xpath_li.pyfrom lxml import etreeHTML = etree.parse(‘hello.HTML‘)result = HTML.xpath(‘//li/a[@href="link1.HTML"]‘)print result
运行结果
[<Element a at 0x10ffaae18>]
4. 获取<li>
标签下的所有 <span>
标签 # xpath_li.pyfrom lxml import etreeHTML = etree.parse(‘hello.HTML‘)#result = HTML.xpath(‘//li/span‘)#注意这么写是不对的:#因为 / 是用来获取子元素的,而 <span> 并不是 <li> 的子元素,所以,要用双斜杠result = HTML.xpath(‘//li//span‘)print result运行结果[<Element span at 0x10d698e18>]
5. 获取
<li>
标签下的<a>
标签里的所有 class # xpath_li.pyfrom lxml import etreeHTML = etree.parse(‘hello.HTML‘)result = HTML.xpath(‘//li/a//@class‘)print result运行结果[‘blod‘]
6. 获取最后一个
<li>
的 <a>
的 href # xpath_li.pyfrom lxml import etreeHTML = etree.parse(‘hello.HTML‘)result = HTML.xpath(‘//li[last()]/a/@href‘)# 谓语 [last()] 可以找到最后一个元素print result运行结果[‘link5.HTML‘]
7. 获取倒数第二个元素的内容
# xpath_li.pyfrom lxml import etreeHTML = etree.parse(‘hello.HTML‘)result = HTML.xpath(‘//li[last()-1]/a‘)# text 方法可以获取元素内容print result[0].text运行结果fourth item
8. 获取
class
值为 bold
的标签名 # xpath_li.pyfrom lxml import etreeHTML = etree.parse(‘hello.HTML‘)result = HTML.xpath(‘//*[@]‘)# tag方法可以获取标签名print result[0].tag运行结果span
案例:使用XPath的爬虫
爬取某个贴吧里的所有帖子,并且将该这个帖子里每个楼层发布的图片下载到本地。
# tIEba_xpath.py#!/usr/bin/env python# -*- Coding:utf-8 -*-import osimport urllibimport urllib2from lxml import etreeclass SpIDer: def __init__(self): self.tIEbaname = raw_input("请需要访问的贴吧:") self.beginPage = int(raw_input("请输入起始页:")) self.endPage = int(raw_input("请输入终止页:")) self.url = ‘http://tIEba.baIDu.com/f‘ self.ua_header = {"User-Agent" : "Mozilla/5.0 (compatible; MSIE 9.0; windows NT 6.1 TrIDent/5.0;"} # 图片编号 self.username = 1 def tIEbaSpIDer(self): for page in range(self.beginPage,self.endPage + 1): pn = (page - 1) * 50 # page number word = {‘pn‘ : pn,‘kw‘: self.tIEbaname} word = urllib.urlencode(word) #转换成url编码格式(字符串) myUrl = self.url + "?" + word # 示例:http://tIEba.baIDu.com/f? kw=%E7%BE%8E%E5%A5%B3 & pn=50 # 调用 页面处理函数 load_Page # 并且获取页面所有帖子链接,links = self.loadPage(myUrl) # urllib2_test3.py # 读取页面内容 def loadPage(self,url): req = urllib2.Request(url,headers = self.ua_header) HTML = urllib2.urlopen(req).read() # 解析HTML 为 HTML 文档 selector=etree.HTML(HTML) #抓取当前页面的所有帖子的url的后半部分,也就是帖子编号 # http://tIEba.baIDu.com/p/4884069807里的 “p/4884069807” links = selector.xpath(‘//div[@]/div/a/@href‘) # links 类型为 etreeElementString 列表 # 遍历列表,并且合并成一个帖子地址,调用 图片处理函数 loadImage for link in links: link = "http://tIEba.baIDu.com" + link self.loadImages(link) # 获取图片 def loadImages(self,link): req = urllib2.Request(link,headers = self.ua_header) HTML = urllib2.urlopen(req).read() selector = etree.HTML(HTML) # 获取这个帖子里所有图片的src路径 imageslinks = selector.xpath(‘//img[@]/@src‘) # 依次取出图片路径,下载保存 for imageslink in imageslinks: self.writeImages(imageslink) # 保存页面内容 def writeImages(self,imageslink): ‘‘‘ 将 images 里的二进制内容存入到 userNname 文件中 ‘‘‘ print imageslink print "正在存储文件 %d ..." % self.username # 1. 打开文件,返回一个文件对象 file = open(‘./images/‘ + str(self.username) + ‘.png‘,‘wb‘) # 2. 获取图片里的内容 images = urllib2.urlopen(imageslink).read() # 3. 调用文件对象write() 方法,将page_HTML的内容写入到文件里 file.write(images) # 4. 最后关闭文件 file.close() # 计数器自增1 self.username += 1# 模拟 main 函数if __name__ == "__main__": # 首先创建爬虫对象 mySpIDer = SpIDer() # 调用爬虫对象的方法,开始工作 mySpIDer.tIEbaSpIDer()
总结
以上是内存溢出为你收集整理的五、Xpath与lxml类库全部内容,希望文章能够帮你解决五、Xpath与lxml类库所遇到的程序开发问题。
如果觉得内存溢出网站内容还不错,欢迎将内存溢出网站推荐给程序员好友。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)