爬妹子图一直都是我玩爬虫的乐趣！不信你看咯！

概述笔者近段时间学完Python，写了几个爬虫练练手，网上的教程有很多，但是有的已经不能爬了，主要是网站经常改，可是爬虫还是有通用的思路的，即下载数据、解析数据、保存数据。下面一一来讲。

笔者近段时间学完 Python，写了几个爬虫练练手，网上的教程有很多，但是有的已经不能爬了，主要是网站经常改，可是爬虫还是有通用的思路的，即下载数据、解析数据、保存数据。下面一一来讲。

1.下载数据

首先打开要爬的网站，分析 URL，每打开一个网页看 URL 有什么变化，有可能带上上个网页的某个数据，例如 xxID 之类，那么我们就需要在上一个页面分析HTML，找到对应的数据。如果网页源码找不到，可能是 AJAX 异步加载，去 xhr里去找。

有的网站做了反爬的处理，可以添加 User-Agent ：判断浏览器

self.user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; windows NT)'# 初始化 headersself.headers = {'User-Agent': self.user_agent}

进群：548377875  即可获取数十套pdf哦！

下载数据的模块有 urllib、urllib2 及 Requests

Requests 相比其他俩个的话，支持 http 连接保持和连接池，支持使用 cookie保持会话，支持文件上传，支持自 动确定响应内容的编码，支持国际化的 URL 和 POST 数据自动编码，而且API相对来说也简单，但是 requests 直接使用不能异步调用，速度慢。

HTML = requests.get(url,headers=headers) #没错，就是这么简单

urllib2 以我爬取淘宝的妹子例子来说明：

user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; windows NT)'headers = {'User-Agent': user_agent}# 注意：form data请求参数params = 'q&vIEwFlag=A&sortType=default&searchStyle=&searchRegion=city%3A&searchFansNum=&currentPage=1&pageSize=100'def getHome(): url = 'https://mm.taobao.com/tstar/search/tstar_model.do?_input_charset=utf-8' req = urllib2.Request(url,headers=headers) # decode（’utf - 8’）解码 把其他编码转换成unicode编码 # encode(’gbk’) 编码 把unicode编码转换成其他编码 # ”gbk”.decode(’gbk’).encode(’utf - 8') # unicode = 中文 # gbk = 英文 # utf - 8 = 日文 # 英文一 > 中文一 > 日文,unicode相当于转化器 HTML = urllib2.urlopen(req,data=params).read().decode('gbk').encode('utf-8') # Json转对象 peoples = Json.loads(HTML) for i in peoples['data']['searchDOList']: #去下一个页面获取数据 getUseInfo(i['userID'],i['realname'])

2.解析数据

解析数据也有很多方式，我只看了 beautifulsoup 和正则，这个例子是用正则来解析的

def getUseInfo(userID,realname): url = 'https://mm.taobao.com/self/aiShow.htm?userID=' + str(userID) req = urllib2.Request(url) HTML = urllib2.urlopen(req).read().decode('gbk').encode('utf-8') pattern = re.compile('',re.S) items = re.findall(pattern,HTML) x = 0 for item in items: if re.match(r'.*(.jpg")$',item.strip()): tt = 'http:' + re.split('"',item.strip())[1] down_image(tt,x,realname) x = x + 1 print('下载完毕')

正则表达式说明

match：匹配 string 开头，成功返回 Match object,失败返回 None，只匹配一个。

search：在 string 中进行搜索，成功返回 Match object,失败返回 None,只匹配一个。

findall：在 string 中查找所有 匹配成功的组,即用括号括起来的部分。返回List对象，每个 List item 是由每个匹配的所有组组成的 List。

1）.*? 是一个固定的搭配，.和 * 代表可以匹配任意无限多个字符，加上 ？表示使用非贪婪模式进行匹配，也就是我们会尽可能短地做匹配

2）(.*?) 代表一个分组，如果有5个 (.*?) 就说明匹配了五个分组

3） 正则表达式中，“.” 的作用是匹配除 “ ” 以外的任何字符，也就是说，它是在一行中进行匹配。这里的“行”是以 “ ” 进行区分的。HTML标签每行的末尾有一个 “ ”，不过它不可见。 如果不使用 re.S 参数，则只在每一行内进行匹配，如果一行没有，就换下一行重新开始，不会跨行。而使用 re.S 参数以后，正则表达式会将这个字符串作为一个整体，将 “ ” 当做一个普通的字符加入到这个字符串中，在整体中进行匹配。

3.保存数据

数据解析后可以保存到文件或数据库中，这个例子是保存到了文件中，很简单，就不做说明了，在下篇讲如何将数据保存到数据库

https://www.cnblogs.com/sixrain/p/9138442.HTML

def down_image(url,filename,realname): req = urllib2.Request(url=url) folder = 'e:\images\%s' % realname if os.path.isdir(folder): pass else: os.makedirs(folder) f = folder + '\%s.jpg' % filename if not os.path.isfile(f): print f binary_data = urllib2.urlopen(req).read() with open(f,'wb') as temp_file: temp_file.write(binary_data)

GitHub 地址，还有其他网站爬虫，欢迎 star：https://github.com/peiniwan/SpIDer2

总结

以上是内存溢出为你收集整理的爬妹子图一直都是我玩爬虫的乐趣！不信你看咯！全部内容，希望文章能够帮你解决爬妹子图一直都是我玩爬虫的乐趣！不信你看咯！所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。