linux删除大量文件的6种方法

1. rm

由于文件数量过多，rm不起作用。

2. find

大概43分钟。

3. find with delete

用时9分钟。

4. rsync

首先建立空文件夹blanktest

16s，很好很强大。

5. Python

大概用时8分钟。

6. Perl

首先建立50万个文件

复制代码代码如下:

test for i in $(seq 1 500000)

for>do

for>echo test >>$i.txt

for>done

1 rm

复制代码代码如下:

test time rm -f *

zsh: sure you want to delete all the files in /home/hungerr/test [yn]? y

zsh: argument list too long: rm

rm -f * 3.63s user 0.29s system 98% cpu 3.985 total

由于文件数量过多，rm不起作用。

2 find

复制代码代码如下:

test time find ./ -type f -exec rm {} \

find ./ -type f -exec rm {} \ 49.86s user 1032.13s system 41% cpu 43:19.17 total

大概43分钟。

3 find with delete

复制代码代码如下:

test time find ./ -type f -delete

find ./ -type f -delete 0.43s user 11.21s system 2% cpu 9:13.38 total

用时9分钟。

4 rsync

首先建立空文件夹blanktest

复制代码代码如下:

~ time rsync -a --delete blanktest/ test/

rsync -a --delete blanktest/ test/ 0.59s user 7.86s system 51% cpu 16.418 total

16s，很好很强大。

5 Python

复制代码代码如下:

import os

import time

stime=time.time()

for pathname,dirnames,filenames in os.walk('/home/username/test'):

for filename in filenames:

file=os.path.join(pathname,filename)

os.remove(file)

ftime=time.time()

print ftime-stime

复制代码代码如下:

~ python test.py

494.272291183

大概用时8分钟。

6 Perl

复制代码代码如下:

test time perl -e 'for(<*>){((stat)[9]<(unlink))}'

perl -e 'for(<*>){((stat)[9]<(unlink))}' 1.28s user 7.23s system 50% cpu 16.784 total

通常，要在 Linux 终端删除一个文件[1]，我们使用 rm 命令（删除文件）、shred 命令（安全删除文件）、wipe 命令（安全擦除文件）或者 secure-deletion 工具包（一个安全文件删除工具集合）。

我们可以使用上述任意的工具来处理相对较小的文件。如果我们想要删除超大的文件/文件夹，比如大概 100-200GB，在删除文件（I/O 调度）所花费的时间以及 RAM 占用量方面，就没有你想的那么简单。

在本教程中，我们会解释如何在 Linux 中有效率并可靠地删除大文件/文件夹。

建议阅读： 5 个在 Linux 中清空或者删除大文件的方法[2]

我们的主要目标是使用一种不会在删除大文件时拖慢系统的技术，合理地占用 I/O。我们可以用 ionice 命令实现这个目标。

在Linux 中使用 ionice 命令删除超大（200GB）文件

ionice 是一个可以对另一个程序设置或获取 I/O 调度级别和优先级的有用程序。如果没有给出参数或者只有 -p 参数，那么 ionice 将会查询该进程的当前的 I/O 调度级别以及优先级。

如果我们给出命令名称，如 rm 命令，它将使用给定的参数运行此命令。要获取或设置调度参数，请指定[进程的 PID]，如下：

# ionice -p PID

要指定名字或者调度的数字，使用（0 表示无、1 表示实时、2 表示尽力、3 表示空闲）下面的命令。

以下命令表示 rm 会属于空闲 I/O 级别，并且只在其他进程不使用的时候使用 I/O：

---- Deleting Huge Files in Linux -----# ionice -c 3 rm /var/logs/syslog# ionice -c 3 rm -rf /var/log/apache

如果系统中没有很多空闲时间，那么我们希望使用尽力调度级别，并且使用低优先级：

# ionice -c 2 -n 6 rm /var/logs/syslog# ionice -c 2 -n 6 rm -rf /var/log/apache

注意：要使用安全的方法删除大文件，我们可以使用先前提到的 shred、wipe 以及 secure-deletion 工具包中的不同工具，而不是 rm 命令。

---