使用BeautifulSoup爬虫程序获取百度搜索结果的标题和url示例

概述熟悉Java的jsoup包的话，对于Python的BeautifulSoup库应该很容易上手。复制代码代码如下:#coding:utf-8importsysimporturllibimporturllib2fromBeautifulSoupimportBeautifulSoup

熟悉Java的Jsoup包的话，对于Python的BeautifulSoup库应该很容易上手。

复制代码 代码如下:@H_404_7@
#Coding: utf-8
import sys
import urllib
import urllib2
from BeautifulSoup import BeautifulSoup

question_word = "吃货 程序员"
url = "http://www.baIDu.com/s?wd=" + urllib.quote(question_word.decode(sys.stdin.enCoding).encode('gbk'))
HTMLpage = urllib2.urlopen(url).read()
soup = BeautifulSoup(HTMLpage)
print len(soup.findAll("table",{"class": "result"}))
for result_table in soup.findAll("table",{"class": "result"}):
    a_click = result_table.find("a")
    print "-----标题----\n" + a_click.renderContents()#标题
    print "----链接----\n" + str(a_click.get("href"))#链接
    print "----描述----\n" + result_table.find("div",{"class": "c-abstract"}).renderContents()#描述
    print

总结

以上是内存溢出为你收集整理的使用BeautifulSoup爬虫程序获取百度搜索结果的标题和url示例全部内容，希望文章能够帮你解决使用BeautifulSoup爬虫程序获取百度搜索结果的标题和url示例所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。