python爬虫：带你了解爬虫应当怎么做

本文的文字及来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理

python2

爬虫：从网页上采取数据

爬虫模块：urllib,urllib2,re,bs4,requests,scrapy,xlml

1urllib

2request

3bs4

4正则re

5种数据类型

(1)数字Number

(2)字符串String

(3)列表List[] 中文在可迭代对象就是unicode对象

(4)元组Tuple()

(5)字典Set{}

爬虫思路：

1静态 urlopen打开网页------获取源码read

2requests(模块) get/post请求----获取源码 text()方法 content()方法(建议)

3bs4 能够解析HTML和XML

-- coding:utf-8 –

from bs4 import BeautifulSoup

1

html=“

201818 14:03

”

soup=BeautifulSoup(html,‘htmlparser’) #解析网页

print soupdiv

2从文件中读取

html=’’

soup=BeautifulSoup(open(‘indexhtml’),‘htmlparser’)

print soupprettify()

4获取所需信息

在我们日常上网浏览网页的时候，经常会看到一些好看的，我们就希望把这些保存下载，或者用户用来做桌面壁纸，或者用来做设计的素材。

我们最常规的做法就是通过鼠标右键，选择另存为。但有些鼠标右键的时候并没有另存为选项，还有办法就通过就是通过截图工具截取下来，但这样就降低的清晰度。好吧其实你很厉害的，右键查看页面源代码。

我们可以通过python 来实现这样一个简单的爬虫功能，把我们想要的代码爬取到本地。下面就看看如何使用python来实现这样一个功能。

具体步骤

获取整个页面数据首先我们可以先获取要下载的整个页面信息。

getjpgpy

#coding=utf-8import urllibdef getHtml(url):

page = urlliburlopen(url)

html = pageread()    return html

html = getHtml(">

Urllib 模块提供了读取web页面数据的接口，我们可以像读取本地文件一样读取>

urlliburlopen()方法用于打开一个URL地址。

read()方法用于读取URL上的数据，向getHtml()函数传递一个网址，并把整个页面下载下来。执行程序就会把整个网页打印输出。

2筛选页面中想要的数据

Python 提供了非常强大的正则表达式，我们需要先要了解一点python 正则表达式的知识才行。

>

假如我们百度贴吧找到了几张漂亮的壁纸，通过到前段查看工具。找到了的地址，如：src=”>

修改代码如下：

import reimport urllibdef getHtml(url):

page = urlliburlopen(url)

html = pageread()    return htmldef getImg(html):

reg = r'src="(+\jpg)" pic_ext'

imgre = recompile(reg)

imglist = refindall(imgre,html)    return imglist      

html = getHtml(">

我们又创建了getImg()函数，用于在获取的整个页面中筛选需要的连接。re模块主要包含了正则表达式：

recompile() 可以把正则表达式编译成一个正则表达式对象

refindall() 方法读取html 中包含 imgre（正则表达式）的数据。

运行脚本将得到整个页面中包含的URL地址。

3将页面筛选的数据保存到本地

把筛选的地址通过for循环遍历并保存到本地，代码如下：

#coding=utf-8import urllibimport redef getHtml(url):

page = urlliburlopen(url)

html = pageread()    return htmldef getImg(html):

reg = r'src="(+\jpg)" pic_ext'

imgre = recompile(reg)

imglist = refindall(imgre,html)

x = 0    for imgurl in imglist:

urlliburlretrieve(imgurl,'%sjpg' % x)

x+=1html = getHtml(">

这里的核心是用到了urlliburlretrieve()方法，直接将远程数据下载到本地。

通过一个for循环对获取的连接进行遍历，为了使的文件名看上去更规范，对其进行重命名，命名规则通过x变量加1。保存的位置默认为程序的存放目录。

程序运行完成，将在目录下看到下载到本地的文件。

不论是用opencv还是[PIL]，skimage等库，在之前做图像处理的时候，几乎都是读取本地的。最近尝试爬虫爬取，在保存之前，我希望能先快速浏览一遍，然后有选择性的保存。这里就需要从url读取了。查了很多资料，发现有这么几种方法，这里做个记录。

本文用到的URL如下：

以上就是关于python爬虫：带你了解爬虫应当怎么做全部的内容，包括:python爬虫：带你了解爬虫应当怎么做、如何用Python做爬虫、通过URL打开图片(Python)等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！