返回顶部

收藏

Python爬虫程序获取百度搜索结果的标题、描述、url。

更多

使用BeautifulSoup编写了一段爬虫程序。熟悉Java的jsoup包的话,对于Python的BeautifulSoup库应该很容易上手。

#coding: utf-8
import sys
import urllib
import urllib2
from BeautifulSoup import BeautifulSoup

question_word = "吃货 程序员"
url = "http://www.baidu.com/s?wd=" + urllib.quote(question_word.decode(sys.stdin.encoding).encode('gbk'))
htmlpage = urllib2.urlopen(url).read()
soup = BeautifulSoup(htmlpage)
print len(soup.findAll("table", {"class": "result"}))
for result_table in soup.findAll("table", {"class": "result"}):
    a_click = result_table.find("a")
    print "-----标题----\\n" + a_click.renderContents()#标题
    print "----链接----\\n" + str(a_click.get("href"))#链接
    print "----描述----\\n" + result_table.find("div", {"class": "c-abstract"}).renderContents()#描述
    print
#该片段来自于http://outofmemory.cn

标签:python,网络

收藏

0人收藏

支持

0

反对

0

相关聚客文章
  1. 博主 发表 2016-08-25 14:39:00 uvloop: Python极速网络互连
  2. 博主 发表 2016-08-25 14:39:00 uvloop: Python极速网络互连
  3. 博主 发表 2017-06-07 16:01:26 一个简单的网络数据包工具——Packet Assistant
  4. techug 发表 2015-07-02 03:04:32 Tor网络Python接口工具Stem的几个替代用法
  5. 博主 发表 2017-04-21 03:57:14 Python网络库requests使用代理
  6. Larry 发表 2015-09-15 02:22:22 Python网络攻防之第二层攻击
  7. cold 发表 2013-04-15 08:09:00 使用Tornado进行网络异步编程
  8. 博主 发表 2014-11-12 00:00:00 Python学习笔记(二)网络编程的简单示例
  9. Null 发表 2014-03-23 10:43:58 乱发数据包
  10. 博主 发表 2013-04-13 07:00:00 python(urllib,re,beautifulsoup) web网络操作
  11. 博主 发表 2012-12-02 08:00:00 python小练习:网络视频下载
  12. Null 发表 2014-10-01 10:48:23 简单的 SSTP 服务器

发表评论