本文实例讲述了Python实现的多进程拷贝文件并显示百分比功能。分享给大家供大家参考,具体如下:
centos7下查看cup核数:
# 总核数 = 物理CPU个数 X 每颗物理CPU的核数 # 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数 # 查看物理CPU个数 cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l # 查看每个物理CPU中core的个数(即核数) cat /proc/cpuinfo| grep "cpu cores"| uniq # 查看逻辑CPU的个数 cat /proc/cpuinfo| grep "processor"| wc -l
本示例拷贝文件采用的是最简单的但是有最复杂的方式:
1,根据要拷贝的文件夹名称,创建一个新的文件夹用来存储文件
2,读取源文件夹下的文件内容,将其写入目的文件夹下同名的文件中
直接上代码:
# coding=utf-8 from multiprocessing import Pool, Manager import os import traceback import time def copyFileTask(name, oldFolderName, newFolderName, queue): """copy文件""" fr = open(oldFolderName+"/"+name) fw = open(newFolderName+"/"+name, "w") content = fr.read() fw.write(content) fr.close() fw.close() # 将copy完成的文件名称put进队列 queue.put(name) def main(): try: # 0. 获取要copy的文件夹 # oldFolderName = input("请输入文件夹的名字:") # python3 oldFolderName = raw_input("请输入文件夹的名字:") # python2 # 1. 创建一个新的文件夹 print 'mkdir new file ------' newFolderName = str(oldFolderName) + "-copy" # print(newFolderName) os.mkdir(newFolderName) # 2. 获取old文件夹中的所有的文件名字 fileNames = os.listdir(oldFolderName) # print(fileNames) # 3. 使用多进程的方式copy 原文件夹中的所有文件到新的文件夹中 pool = Pool(5) # 创建一个队列 queue = Manager().Queue() for name in fileNames: pool.apply_async(copyFileTask, args=(name, oldFolderName, newFolderName, queue)) pool.close() # 关闭进程池,不再接受请求 pool.join() # 等待所有的子进程结束 num = 0 # 需要copy的文件总数 allNum = len(fileNames) while num < allNum: # 收数据 queue.get() num += 1 copyRate = float(num) / allNum # 打印copy的进度 time.sleep(0.1) # 容易看出来打印百分比的变化,延长百分比更新的时间 print "rcopy的进度是:%.2f%%" % (copyRate*100), print "ncopy success ------" except: traceback.print_exc() if __name__ == "__main__": main()
下面采用python模块shutil模块进行copy *** 作:
# coding=utf-8 from multiprocessing import Pool, Manager import os import traceback import time import shutil def copyFileTask(name, old_path, new_path, queue): """copy文件""" src_path = os.path.join(old_path, name) dst_path = os.path.join(new_path, name) shutil.copy(src_path, dst_path) # 拷贝文件 # shitil.move(src_path, dst_path) # 移动文件 # 将copy完成的文件名称put进队列 queue.put(name) def main(): try: # 0. 获取要copy的文件夹 oldFolderName = raw_input("请输入文件夹的名字:") print '要拷贝的源文件夹: ', oldFolderName # 1. 创建一个新的文件夹 newFolderName = raw_input("请输入文件夹的名字:") print '目标文件夹:', newFolderName # 获取当前所在的路径 now_path = os.getcwd() print "当前所在路径: ", now_path old_path = os.path.join(now_path, oldFolderName) print '源文件夹路径: ', old_path new_path = os.path.join(now_path, newFolderName) print '目标文件夹路径: ', new_path if not os.path.exists(new_path): os.mkdir(new_path) # 3. 使用多进程的方式copy 原文件夹中的所有文件到新的文件夹中 pool = Pool(5) # 创建5条进程 queue = Manager().Queue() # 创建一个队列 # 遍历源文件夹 for root, dirs, files in os.walk(oldFolderName): """ root 所指的是当前正在遍历的这个文件夹的本身的地址 dirs 是一个 list ,内容是该文件夹中所有的目录的名字(不包括子目录) files 同样是 list , 内容是该文件夹中所有的文件(不包括子目录) """ print '源文件夹下的文件数量::', len(files) s_t = time.time() for file in files: pool.apply_async(copyFileTask, args=(file, old_path, new_path, queue)) # 向进程池中添加任务 pool.close() # 关闭进程池,不再接受请求 pool.join() # 等待所有的子进程结束 print '耗时:{} 秒'.format(time.time() - s_t) num = 0 # 需要copy的文件总数 allNum = len(files) print 'len(fileNames) = ', allNum while True: # 收数据 # print '收数据 ------' queue.get() # print 'queue.get() ------', queue.get() num += 1 copyRate = float(num) / allNum # 打印copy的进度 print "rcopy的进度是:%.2f%%" % (copyRate*100), if num == allNum: break print "ncopy success ------" except: traceback.print_exc() if __name__ == "__main__": main()
输出:(由于我的cup核数为1核,在使用多进程的过程中, *** 作系统在轮询的时候,频繁的切换任务,浪费时间导致多进程比单进程耗时更长。)
[root@centos7 mnt]# python copy_file_test.py
请输入文件夹的名字:hdfs
要拷贝的源文件夹: hdfs
请输入文件夹的名字:test01
目标文件夹: test01
当前所在路径: /mnt
源文件夹路径: /mnt/hdfs
目标文件夹路径: /mnt/test01
源文件夹下的文件数量:: 8165
耗时:253.655323982 秒
len(fileNames) = 8165
copy的进度是:100.00%
copy success ------
单进程拷贝文件:
# coding=utf-8 from Queue import Queue import os import traceback import time import shutil def copyFileTask(name, old_path, new_path, queue): """copy文件""" src_path = os.path.join(old_path, name) dst_path = os.path.join(new_path, name) shutil.copy(src_path, dst_path) # 拷贝文件 # shitil.move(src_path, dst_path) # 移动文件 # 将copy完成的文件名称put进队列 queue.put(name) def main(): try: # 0. 获取要copy的文件夹 oldFolderName = raw_input("请输入文件夹的名字:") print '要拷贝的源文件夹: ', oldFolderName # 1. 创建一个新的文件夹 newFolderName = raw_input("请输入文件夹的名字:") print '目标文件夹:', newFolderName # 获取当前所在的路径 now_path = os.getcwd() print "当前所在路径: ", now_path old_path = os.path.join(now_path, oldFolderName) print '源文件夹路径: ', old_path new_path = os.path.join(now_path, newFolderName) print '目标文件夹路径: ', new_path if not os.path.exists(new_path): os.mkdir(new_path) queue = Queue() # 创建一个队列 # 遍历源文件夹 for root, dirs, files in os.walk(oldFolderName): """ root 所指的是当前正在遍历的这个文件夹的本身的地址 dirs 是一个 list ,内容是该文件夹中所有的目录的名字(不包括子目录) files 同样是 list , 内容是该文件夹中所有的文件(不包括子目录) """ print '源文件夹下的文件数量::', len(files) s_t = time.time() # 调用函数拷贝文件 for file in files: copyFileTask(file, old_path, new_path, queue) print '耗时:{} 秒'.format(time.time() - s_t) num = 0 # 需要copy的文件总数 allNum = len(files) print 'len(fileNames) = ', allNum while True: # 收数据 # print '收数据 ------' queue.get() # print 'queue.get() ------', queue.get() num += 1 copyRate = float(num) / allNum # 打印copy的进度 print "rcopy的进度是:%.2f%%" % (copyRate*100), if num == allNum: break print "ncopy success ------" except: traceback.print_exc() if __name__ == "__main__": main()
输出:
[root@centos7 mnt]# python copy_file_test_dan.py
请输入文件夹的名字:hdfs
要拷贝的源文件夹: hdfs
请输入文件夹的名字:test02
目标文件夹: test02
当前所在路径: /mnt
源文件夹路径: /mnt/hdfs
目标文件夹路径: /mnt/test02
源文件夹下的文件数量:: 8165
耗时:122.284090996 秒
len(fileNames) = 8165
copy的进度是:100.00%
copy success ------
我的虚拟机cpu核数:1
如下:
[root@centos7 mnt]# cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l 1 [root@centos7 mnt]# cat /proc/cpuinfo| grep "cpu cores"| uniq cpu cores : 1 [root@centos7 mnt]# cat /proc/cpuinfo| grep "processor"| wc -l 1
更多关于Python相关内容感兴趣的读者可查看本站专题:《Python文件与目录 *** 作技巧汇总》、《Python文本文件 *** 作技巧汇总》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串 *** 作技巧汇总》及《Python入门与进阶经典教程》
希望本文所述对大家Python程序设计有所帮助。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)