python妹子图简单爬虫

概述python妹子图简单爬虫

下面是内存溢出 jb51.cc 通过网络收集整理的代码片段。

内存溢出小编现在分享给大家，也给大家做个参考。

#!/usr/bin/env python#Coding: utf-8import urllibimport urllib2import osimport reimport sys#显示下载进度def schedule(a,b,c):    '''''    a:已经下载的数据块    b:数据块的大小    c:远程文件的大小    '''    per = 100.0 * a * b / c    if per > 100 :        per = 100    print '%.2f%%' % per#获取HTML源码def getHTML(url):    page = urllib.urlopen(url)    HTML = page.read()    return HTML#下载图片def downloadimg(HTML,num,foldername):    picpath = '%s' % (foldername)       #下载到的本地目录    if not os.path.exists(picpath):     #路径不存在时创建一个        os.makedirs(picpath)    target = picpath+'/%s.jpg' % num    myItems = re.findall('<p><a href="http:\/\/www.mzitu.com/.*?" ><img src="(.*?)" alt=".*?" /></a></p>',HTML,re.S)    print 'Downloading image to location: ' + target    urllib.urlretrIEve(myItems[0],target,schedule)#正则匹配分页def findPage(HTML):    myItems = re.findall('<span>(\d*)</span>',re.S)    return myItems.pop()#正则匹配列表def findList(HTML):    myItems = re.findall('<h2><a href="http://www.mzitu.com/(\d*)" title="(.*?)" target="_blank">.*?</a></h2>',re.S)    return myItems#总下载def totalDownload(modelUrl):    ListHTML5 = getHTML(modelUrl)    ListContent = findList(ListHTML)    for List in ListContent:        HTML = getHTML('http://www.mzitu.com/' + str(List[0]))        totalNum = findPage(HTML)        for num in range(1,int(totalNum)+1):            if num == 1:                url = 'http://www.mzitu.com/' + str(List[0])                HTML5 = getHTML(url)                downloadimg(HTML5,str(num),str(List[1]))            else:                url = 'http://www.mzitu.com/' + str(List[0]) + '/'+str(num)                HTML5 = getHTML(url)                downloadimg(HTML5,str(List[1]))if __name__ == '__main__':    ListHTML = getHTML('http://www.mzitu.com/model')    #这是其中一个模块的url，可以添加不同的模块url从而达到整站爬取。    for model in range(1,int(findPage(ListHTML))+1):        if model == 1:            modelUrl = 'http://www.mzitu.com/model'            totalDownload(modelUrl)        else:            modelUrl = 'http://www.mzitu.com/model/page/' + str(model)            totalDownload(modelUrl)    print "Download has finished."

以上是内存溢出(jb51.cc)为你收集整理的全部代码内容，希望文章能够帮你解决所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。

总结

以上是内存溢出为你收集整理的python妹子图简单爬虫全部内容，希望文章能够帮你解决python妹子图简单爬虫所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。