下面是内存溢出 jb51.cc 通过网络收集整理的代码片段。
内存溢出小编现在分享给大家,也给大家做个参考。
#!/usr/bin/env python# -*- Coding:utf-8 -*-from gevent import monkeymonkey.patch_all()from gevent.pool import Poolimport requestsimport sysimport osdef download(url): Chrome = 'Mozilla/5.0 (X11; linux i86_64) AppleWebKit/537.36 ' + \ '(KHTML,like Gecko) Chrome/41.0.2272.101 Safari/537.36' headers = {'User-Agent': Chrome} filename = url.split('/')[-1].strip() r = requests.get(url.strip(),headers=headers,stream=True) with open(filename,'wb') as f: for chunk in r.iter_content(chunk_size=1024): if chunk: f.write(chunk) f.flush() print filename,"is ok"def removeline(key,filename): os.system('sed -i /%s/d %s' % (key,filename))if __name__ == "__main__": if len(sys.argv) == 2: filename = sys.argv[1] f = open(filename,"r") p = Pool(4) for line in f.readlines(): if line: p.spawn(download,line.strip()) key = line.split('/')[-1].strip() removeline(key,filename) f.close() p.join() else: print 'Usage: python %s urls.txt' % sys.argv[0]
以上是内存溢出(jb51.cc)为你收集整理的全部代码内容,希望文章能够帮你解决所遇到的程序开发问题。
如果觉得内存溢出网站内容还不错,欢迎将内存溢出网站推荐给程序员好友。
总结以上是内存溢出为你收集整理的批量下载文件全部内容,希望文章能够帮你解决批量下载文件所遇到的程序开发问题。
如果觉得内存溢出网站内容还不错,欢迎将内存溢出网站推荐给程序员好友。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)