web爬虫讲解—urllib库中使用xpath表达式—BeautifulSoup基础

概述在urllib中，我们一样可以使用xpath表达式进行信息提取，此时，你需要首先安装lxml模块，然后将网页数据通过lxml下的etree转化为treedata的形式 urllib库中使用xpath表达式 etree.HTML()将获取到的html字符串，转换成树形结构，也就是xpath表达式可以获取的格式 #!/usr/bin/env python# -*- coding:utf8 -*-i 在urllib中，我们一样可以使用xpath表达式进行信息提取，此时，你需要首先安装lxml模块，然后将网页数据通过lxml下的etree转化为treedata的形式

urllib库中使用xpath表达式

etree.HTML()将获取到的HTML字符串，转换成树形结构，也就是xpath表达式可以获取的格式

#!/usr/bin/env python# -*- Coding:utf8 -*-import urllib.requestfrom lxml import etree  #导入HTML树形结构转换模块wye = urllib.request.urlopen(‘http://sh.qihoo.com/pc/home‘).read().decode("utf-8",‘ignore‘)zhuanh = etree.HTML(wye)  #将获取到的HTML字符串，转换成树形结构，也就是xpath表达式可以获取的格式print(zhuanh)hqq = zhuanh.xpath(‘/HTML/head/Title/text()‘) #通过xpath表达式获取标题#注意，xpath表达式获取到数据，有时候是列表，有时候不是列表所以要做如下处理if str(type(hqq)) == "<class ‘List‘>":  #判断获取到的是否是列表    print(hqq)else:    xh_hqq = [i for i in hqq]       #如果不是列表，循环数据组合成列表    print(xh_hqq)#返回 ：[‘【今日爆点】你的专属资讯平台‘]

BeautifulSoup基础

BeautifulSoup是获取thml元素的模块

BeautifulSoup-3.2.1版本

如果你依然在编程的世界里迷茫，可以加入我们的Python学习扣qun：784758214，看看前辈们是如何学习的。交流经验。从基础的python脚本到web开发、爬虫、django、数据挖掘等，零基础到项目实战的资料都有整理。送给每一位python的小伙伴！分享一些学习的方法和需要注意的小细节，点击加入我们的 python学习者聚集地

总结

以上是内存溢出为你收集整理的web爬虫讲解—urllib库中使用xpath表达式—BeautifulSoup基础全部内容，希望文章能够帮你解决web爬虫讲解—urllib库中使用xpath表达式—BeautifulSoup基础所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。