1.requests 很好用的http库,中文文档:Requests: 让 HTTP 服务人类吵誉
2.BeautifulSoup 很好用很强大的html解析库,中文指稿文档:Beautiful Soup 4.4.0 文档
3.Scrapy 知名爬虫框唯碰孝架,中文文档:Scrapy 0.25 文档
BeautifulSoup 3.0.6之前:改名为BeautifulSoup.py,放到和你Python文件同目录下即可;
BeautifulSoup 3.0.6之后:需要安装BeautifulSoup后才可使用。
下图显示了Scrapy的大体架构,其中包含了它的主要组件及系统的数据处理流程(绿色箭头所示)。
Beautiful Soup是python的一个库,最主要的功能是从网页抓取数据(on quick-turnaround screen scraping projects)。
Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索誉腊、修改分析树等功能。它是一个工具箱,通过解析文档为用户提供需要抓取的数碰虚颂据,因为简单,所以不需要多少代码就可以写出一个完整的笑郑应用程序。
Beautiful Soup自动将输入文档转换为Unicode编码,输出文档转换为utf-8编码。你不需要考虑编码方式,除非文档没有指定一个编码方式,这时,Beautiful Soup就不能自动识别编码方式了。然后,你仅仅需要说明一下原始编码方式就可以了。
Beautiful Soup已成为和lxml、html6lib一样出色的python解释器,为用户灵活地提供不同的解析策略或强劲的速度。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)