linux删除大量文件的6种方法

1. rm

由于文件数量过多，rm不起作用。

2. find

大概43分钟。

3. find with delete

用时9分钟。

4. rsync

首先建立空文件夹blanktest

16s，很好很强大。

5. Python

大概用时8分钟。

6. Perl

通常，要在 Linux 终端删除一个文件[1]，我们使用 rm 命令（删除文件）、shred 命令（安全删除文件）、wipe 命令（安全擦除文件）或者 secure-deletion 工具包（一个安全文件删除工具集合）。

我们可以使用上述任意的工具来处理相对较小的文件。如果我们想要删除超大的文件/文件夹，比如大概 100-200GB，在删除文件（I/O 调度）所花费的时间以及 RAM 占用量方面，就没有你想的那么简单。

在本教程中，我们会解释如何在 Linux 中有效率并可靠地删除大文件/文件夹。

建议阅读： 5 个在 Linux 中清空或者删除大文件的方法[2]

我们的主要目标是使用一种不会在删除大文件时拖慢系统的技术，合理地占用 I/O。我们可以用 ionice 命令实现这个目标。

在Linux 中使用 ionice 命令删除超大（200GB）文件

ionice 是一个可以对另一个程序设置或获取 I/O 调度级别和优先级的有用程序。如果没有给出参数或者只有 -p 参数，那么 ionice 将会查询该进程的当前的 I/O 调度级别以及优先级。

如果我们给出命令名称，如 rm 命令，它将使用给定的参数运行此命令。要获取或设置调度参数，请指定[进程的 PID]，如下：

# ionice -p PID

要指定名字或者调度的数字，使用（0 表示无、1 表示实时、2 表示尽力、3 表示空闲）下面的命令。

以下命令表示 rm 会属于空闲 I/O 级别，并且只在其他进程不使用的时候使用 I/O：

---- Deleting Huge Files in Linux -----# ionice -c 3 rm /var/logs/syslog# ionice -c 3 rm -rf /var/log/apache

如果系统中没有很多空闲时间，那么我们希望使用尽力调度级别，并且使用低优先级：

# ionice -c 2 -n 6 rm /var/logs/syslog# ionice -c 2 -n 6 rm -rf /var/log/apache

注意：要使用安全的方法删除大文件，我们可以使用先前提到的 shred、wipe 以及 secure-deletion 工具包中的不同工具，而不是 rm 命令。

find / -name *.log | xargs -n 1000 rm -f

因为rm 接收参数的数量是有限的， 所以每次传 1000个参数给他，这样可以满足你的需求。

补充一点，这种写法其实不是特别严谨，因为如果日志文件的命名有特殊字符的话，上面命令将会对特殊字符文件识别不了。

严谨的写法。

find / -name '*.log' -print0 |xargs  -0 -n 1000 rm -f

这里前面的print0 和 后的-0 都是对特殊字符进行处理，也就是说他会认识如"aa  bb  cc " 这种文件名，多的不说了，不知你能否看明白。

---