python小技巧之批量抓取美女图片

概述其中用到urllib2模块和正则表达式模块。下面直接上代码：[/code]#!/usr/bin/envpython#-*-coding:utf-8-*-#通过urllib(2)模块下载网络内容importurllib,urllib2,gevent#引入正则表达式模块，时间模块importre,timef

其中用到urllib2模块和正则表达式模块。下面直接上代码：

[/code]
#!/usr/bin/env python
#-*- Coding: utf-8 -*-
#通过urllib(2)模块下载网络内容
import urllib,urllib2,gevent
#引入正则表达式模块，时间模块
import re,time
from gevent import monkey

monkey.patch_all()

def geturlList(url):
    url_List=[]
    print url      
    s = urllib2.urlopen(url)
    text = s.read()
    #正则匹配，匹配其中的图片
    HTML = re.search(r'<ol.*</ol>',text,re.S)
    urls = re.finditer(r'<p><img src="(.+?)jpg" /></p>',HTML.group(),re.I)
    for i in urls:
        url=i.group(1).strip()+str("jpg")
        url_List.append(url)
    return url_List

def download(down_url):
    name=str(time.time())[:-3]+"_"+re.sub('.+?/','',down_url)
    print name
    urllib.urlretrIEve(down_url,"D:\\TEMP\\"+name)

def getpageurl():
    page_List = []
    #进行列表页循环
    for page in range(1,700):
        url="http://jandan.net/ooxx/page-"+str(page)+"#comments"
        #把生成的url加入到page_List中
        page_List.append(url)
    print page_List
    return page_List
if __name__ == '__main__':
    jobs = []
    pageurl = getpageurl()[::-1]
    #进行图片下载
    for i in pageurl:
        for (downurl) in geturlList(i):
            jobs.append(gevent.spawn(download,downurl))
    gevent.joinall(jobs)
[/code]

程序不长才45行，不是太难，大家可以研究下，这里我只是抛砖引玉，大家可以根据原理开发出其他的抓取程序，呵呵，自己想去吧。。。我就不多说了~~

总结

以上是内存溢出为你收集整理的python小技巧之批量抓取美女图片全部内容，希望文章能够帮你解决python小技巧之批量抓取美女图片所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。