批量下载文件

批量下载文件,第1张

概述批量下载文件

下面是内存溢出 jb51.cc 通过网络收集整理的代码片段。

内存溢出小编现在分享给大家,也给大家做个参考。

#!/usr/bin/env python# -*- Coding:utf-8 -*-from gevent import monkeymonkey.patch_all()from gevent.pool import Poolimport requestsimport sysimport osdef download(url):    Chrome = 'Mozilla/5.0 (X11; linux i86_64) AppleWebKit/537.36 ' + \        '(KHTML,like Gecko) Chrome/41.0.2272.101 Safari/537.36'    headers = {'User-Agent': Chrome}    filename = url.split('/')[-1].strip()    r = requests.get(url.strip(),headers=headers,stream=True)    with open(filename,'wb') as f:        for chunk in r.iter_content(chunk_size=1024):            if chunk:                f.write(chunk)                f.flush()    print filename,"is ok"def removeline(key,filename):    os.system('sed -i /%s/d %s' % (key,filename))if __name__ == "__main__":    if len(sys.argv) == 2:        filename = sys.argv[1]        f = open(filename,"r")        p = Pool(4)        for line in f.readlines():            if line:                p.spawn(download,line.strip())                key = line.split('/')[-1].strip()                removeline(key,filename)        f.close()        p.join()    else:        print 'Usage: python %s urls.txt' % sys.argv[0]

以上是内存溢出(jb51.cc)为你收集整理的全部代码内容,希望文章能够帮你解决所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错,欢迎将内存溢出网站推荐给程序员好友。

总结

以上是内存溢出为你收集整理的批量下载文件全部内容,希望文章能够帮你解决批量下载文件所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错,欢迎将内存溢出网站推荐给程序员好友。

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/langs/1199152.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-06-04
下一篇 2022-06-04

发表评论

登录后才能评论

评论列表(0条)

保存