Linux日志式文件系统面面观

文件系统是用来管理和组织保存在磁盘驱动器上的数据的系统软件，其实现了数据完整性的保 证，也就是保证写入磁盘的数据和随后读出的内容的一致性。除了保存以文件方式存储的数据以外，一个文件系统同样存储和管理关于文件和文件系统自身的一些重要信息(例如：日期时间、属主、访问权限、文件大小和存储位置等等)。这些信息通常被称为元数据(metadata)。

由于为了避免磁盘访问瓶颈效应，一般文件系统大都以异步方式工作，因此如果磁盘 *** 作被突然中断可能导致数据被丢失。例如如果出现这种情况：如果当你处理一个在linux的ext2文件系统上的文档，突然机器崩溃会出现什么情况？

有这几种可能：

*当你保存文件以后，系统崩溃。这是最好的情况，你不会丢失任何信息。只需要重新启动计算机然后继续工作。

*在你保存文件之前系统崩溃。你会丢失你所有的工作内容，但是老版本的文档还会存在。

*当正在将保存的文档写入磁盘时系统崩溃。这是最糟的情况：新版文件覆盖了旧版本的文件。这样磁盘上只剩下一个部分新部分旧的文件。如果文件是二进制文件那么就会出现不能打开文件的情况，因为其文件格式和应用所期待的不同。

在最后这种情况下，如果系统崩溃是发生在驱动器正在写入元数据时，那么情况可能更糟。这时候就是文件系统发生了损坏，你可能会丢失整个目录或者整个磁盘分区的数据。

linux标准文件系统(ext2fs)在重新启动时会通过调用文件扫描工具fsck试图恢复损坏的元数据信息。由于ext2文件系统保存有冗余的关键元数据信息的备份，因此一般来说不大可能出现数据完全丢失。系统会计算出被损坏的数据的位置，然后或者是通过恢复冗余的元数据信息，或者是直接删除被损坏或是元数据信息损毁的文件。

很明显，要检测的文件系统越大，检测过程费时就越长。对于有几十个G大小的分区，可能会花费很长时间来进行检测。由于Linux开始用于大型服务器中越来越重要的应用，因此就越来越不能容忍长时间的当机时间。这就需要更复杂和精巧的文件系统来替代ext2。

因此就出现了日志式文件系统(journalling filesystems)来满足这样的需求。

什么是日志式文件系统

这里仅仅对日志式文件系统进行简单的说明。如果需要更深入的信息请参考文章日志式文件系统，或者是日志式文件系统介绍。

大多数现代文件系统都使用了来自于数据库系统中为了提高崩溃恢复能力而开发的日志技术。磁盘事务在被真正写入到磁盘的最终位置以前首先按照顺序方式写入磁盘中日志区(或是log区)的特定位置。

根据日志文件系统实现技术的不同，写入日志区的信息是不完全一样的。某些实现技术仅仅写文件系统元数据，而其他则会记录所有的写 *** 作到日志中。

现在，如果崩溃发生在日志内容被写入之前发生，那么原始数据仍然在磁盘上，丢失的仅仅是最新的更新内容。如果当崩溃发生在真正的写 *** 作时(也就是日志内容已经更新)，日志文件系统的日志内容则会显示进行了哪些 *** 作。因此当系统重启时，它能轻易根据日志内容，很快地恢复被破坏的更新。

在任何一种情况下，都会得到完整的数据，不会出现损坏的分区的情况。由于恢复过程根据日志进行，因此整个过程会非常快只需要几秒钟时间。

应该注意的是使用日志文件系统并不意味着完全不需要使用文件扫描工具fsck了。随机发生的文件系统的硬件和软件错误是根据日志是无法恢复的，必须借助于fsck工具。

目前Linux环境下的日志文件系统

在下面的内容里将讨论三种日志文件系统：第一种是ext3，由Linux内核Stephen Tweedie开发。ext3是通过向ext2文件系统上添加日志功能来实现的，目前是redhat7.2的默认文件系统；Namesys开发的ReiserFs日志式文件系统，可以下载，目前Mandrake8.1采用该日志式文件系统。SGI在2001年三月发布了XFS日志式文件系统。可以在 oss.sgi.com/projects/xfs/下载。下面将对这三种日志文件系统采用不同的工具进行检测和性能测试。

安装ext3

关于ext3文件系统技术方面的问题请参考Dr. Stephen Tweedie的论文和访谈。ext3日志式文件系统直接来自于其祖先ext2文件系统。其具有完全向后兼容的关键特性，实际上其仅仅是在ext2日志式文件系统上添加了日志功能。其最大的缺点是没有现代文件系统所具有的能提高文件数据处理速度和解压的高性能。

ext3从 2.2.19开始是作为一个补丁方式存在的。如果希望对内核添加对ext3文件系统的支持，就需要使用补丁，可以得到补丁程序，一共需要如下文件：

* ext3-0.0.7a.tar.bz2：内核补丁

* e2fsprogs-1.21-WIP-0601.tar.bz2 支持ext3的e2fsprogs程序套件

拷贝linux-2.2.19.tar.bz2和ext3-0.0.7a.tar.bz2到/usr/src目录下，进行解压：

mv linux linux-old

tar -Ixvf linux-2.2.19.tar.bz2

tar -Ixvf ext3-0.0.7a.tar.bz2

cd linux

cat ../ext3-0.0.7a/linux-2.2.19.kdb.diff | patch -sp1

cat ../ext3-0.0.7a/linux-2.2.19.ext3.diff | patch -sp1

首先对内核添加SGI的kdb内核调试器补丁，第二个是ext3文件系统补丁。下来就需要配置内核，对文件系统部分的"Enable Second extended fs development code"回答Yes。然后编译。

内核编译安装以后，需要安装e2fsprogs软件套件：

tar -Ixvf e2fsprogs-1.21-WIP-0601.tar.bz2

cd e2fsprogs-1.21

./configure

make

make check

make install

下来要做的工作就是在分区上创建一个ext3文件系统，使用新内核重新启动，这时候你有两种选择创建新的日志文件系统或者对一个已有的ext2文件系统升级到ext3日志文件系统。

对于需要创建新ext3文件系统的情况下，只需要使用安装的e2fsprogs软件包中的mke2fs命令加-f参数就可以创建新的ext3文件系统：

mke2fs -j /dev/xxx

这里/dev/xxx是希望创建ext3文件系统的新分区。-j参数表示创建ext3而不是ext2文件系统。可以使用参数"-Jsize="来指定希望的日志区大小(n单位为M)。

升级一个已有的ext2，使用tune2fs就可以了：

tune2fs -j /dev/xxx

你可以对正在加载的文件系统和没有加载的文件系统进行升级 *** 作。如果当前文件系统正在被加载，则文件.journal会在文件系统加载点的所在目录被创建。如果是升级一个当时没有加载的文件系统，则使用隐含的系统inode来记录日志，这时候文件系统的所有内容都会被保留不被破坏。

你可以使用下面的命令加载ext3文件系统：

mount -t ext3 /dev/xxx /mount_dir

由于ext3实际上是带有日志功能的ext2文件系统 ，因此一个ext3文件系统可以以ext2的方式被加载。

安装XFS文件系统

如果需要从技术方面了解XFS文件系统，请参考SGI的XFS文件系统和SGI信息页面。也可以参考FAQ。

XFS是一个SGI开发的linux环境下的日志文件系统，它是一个成熟的技术，最初是使用在IRIX系统上的文件系统。XFS遵循GPL版权申明。目前xfs文件系统最新版本是1.02。下载得到对内核xfs文件系统支持补丁或者直接下载RPM包方式的内核，下面我们就以补丁方式说明如何对2.4.14内核使用xfs。首先下载如下内容

patch-2.4.14-xfs-1.0.2.bz2

patch-2.4.14-xfs-1.0.2-kdb.bz2

拷贝Linux内核linux-2.4.2.tar.bz2到 /usr/src目录下，修改老的内核目录名，然后解压新内核：

mv linux linux-old

tar -Ixf inux-2.4.2.tar.bz2

拷贝每个每个补丁到内核源码目录下(例如：/usr/src/linux)，并打补丁：

zcat patch-2.4.14-xfs-1.0.2.bz2 | patch -p1

zcat patch-2.4.14-xfs-1.0.2-kdb.bz2 | patch -p1

然后配置内核，打开文件系统部分的内核选项："XFS filesystem support" (CONFIG_XFS_FS)和"Page Buffer support" (CONFIG_PAGE_BUF)。同时需要升级下面这些系统工具到下面或更高的版本：

modutils-2.4.0

autoconf-2.13

e2fsprogs-devel-1.18

安装新内核并重启服务器。

然后下载xfs工具。这个软件包包括下面的命令来处理文件系统，使用下面的命令来安装该软件包：：

tar -zxf xfsprogs-1.2.0.src.tar.gz

cd xfsprogs-1.2.0

make configure

make

make install

安装这些命令以后，就可以创建新的XFS文件系统：

mkfs -t xfs /dev/xxx

如果xxx是一个已经存在的文件系统，那么就需要使用"-f"参数来创建新分区，但是记得这将会破坏该分区的所有数据。

mkfs -t xfs -f /dev/xxx

创建以后就可以使用基于下面的命令加载新文件系统：

mount -t xfs /dev/xxx /mount_dir

安装ReiserFS文件系统

如果希望更多地从技术方面了解reiserFS文件系统，请参考NAMESYS和FAQ。

ReiserFS文件系统从2.4.1-pre4开始就是Linux内核的正式支持的文件系统了。为了使用reiserFS文件系统那你首先需要在系统上安装文件系统支持工具(如：创建ReiserFS文件系统的mkreiserfs工具)。最新的ReiserFS文件系统版本可以以补丁的方式添加到2.2.x或者2.4.x内核中。这里我们以2.2.19为例：

第一步，首先下在内核源码，并下在ReiserFS文件系统的2.2.19补丁 ，目前补丁最新版本是linux-2.2.19-reiserfs-3.5.34-patch.bz2。同时应该下载工具软件包：reiserfsprogs-3.x.0j.tar.gz。

然后解压内核源码和补丁包到/usr/src中：

tar -Ixf linux-2.2.19.tar.bz2

bzcat linux-2.2.19-reiserfs-3.5.34-patch.bz2 | patch -p0

编译内核支持reiserfs，安装内核。然后安装文件系统工具软件：

cd /usr/src/linux/fs/reiserfs/utils

make

make install

安装新内核并重新启动。现在就可以创建新的'reiserfs文件系统，并加载：

mkreiserfs /dev/xxxx

mount -t reiserfs /dev/xxx /mount_dir

文件系统性能测试

测试环境使用的计算机环境如下：Pentium III - 16 Mb RAM - 2 Gb HD， *** 作系统为RedHat6.2。所有的文件系统都能正常工作，所以就进行benchmark分析来对它们进行性能比较。首先我直接拔掉系统电源以模拟系统掉电情况，以测试日志文件系统恢复过程。所有的文件系统都成功地经过了文件扫描检测阶段，在数秒以后系统都经过了扫描然后正常启动了系统。

下一步就采用了bonnie++性能测试程序进行测试，这个程序对一个文件进行数据库类型的访问，进行了创建、读和删除小文件，这些 *** 作对于Squid、INN或者Maildir格式的邮件服务器程序(qmail)是最常见的 *** 作。性能测试命令为：

bonnie++ -d/work1 -s10 -r4 -u0

其对加载在/work1目录下的文件系统进行了10Mb(-s10)的测试。因此在执行测试之前必须创建适当类型的文件系统并加载到目录/work1下。其他的参数指定内存大小(-r4)的M数，和以root身份运行测试程序，测试结果如下：

每种测试都有两组数据：文件系统速度(K/sec)和CPU占用率(%CPU)。速度越高，文件系统越好。而对于CPU率来说，数字越小性能越好。可以看到Reiserfs文件系统在文件 *** 作方面(Sequential Create和Random Create部分的) 的性能最好，超出其他文件系统10倍之多。在其他方面(Sequential Output和Sequential Input)则和其他文件系统性能不相上下。对于其他文件系统则没有特别明显的区别。XFS性能接近ext2文件系统，ext3文件系统则比ext2要稍微慢上一些(因为记录日志需要一些额外的时间)。 最后使用从得到的性能测试程序mongo，并对其进行了修改以对三种日志文件系统进行测试。这里在mongo.pl程序中添加了添加了加载xfs和ext3文件系统的命令，并对其进行格式化处理，然后就开始性能测试分析。 该脚本格式划分区/dev/xxxx，加载其并在每个阶段运行指定数目的进程：创建、拷贝、符号连接处理、读、显示文件状态信息、重命名和删除文件。同时，该程序在创建和拷贝阶段以后会计算分段数(fragmentation)。

Fragm = number_of_fragments / number_of_files

可以在结果文件中得到同样的测试比较结果：

log - 原始结果

log.tbl - 比较程序的输出结果

log_table - 表格式的结果

下面的命令进行测试：

mongo.pl ext3 /dev/hda3 /work1 logext3 1

如果要测试其他文件系统，就需要把上面命令的参数中的ext3修改为reiserfs或xfs。其他参数分别为要加载的分区，加载路径，保存测试结果的文件名及启动的进程数。

下面的表格是测试结果。数据单位为秒。值越低性能越好。第一个表格测试使用的数据块大小为100字节，第二个表格为1000字节，最后一个为10000字节

从上面的表格可以看到ext3在状态删除和重命名方面要性能更好一些，而ReiserFS文件系统在文件创建和拷贝性能表现更出色。同时也可以看到reiserFS正如其技术文档提到的其在小文件处理方面性能相当出色。

结论

目前Linux至少有两个健壮可靠的日志文件系统可供选择(XFS和reiserFS)，其都得到了广泛的应用。例如Mandrake8.1就默认支持reiserFS文件系统。

从性能测试的结果可以看到，reiserFS是最好的选择。

基准测试是一项测试或一系列测试，用来确定某个计算机硬件运行起来的状况有多好。在许多情况下，“基准测试”实际上等同于“压力测试”。通过测试硬件的极限，然后可以将测得的结果与其他硬件测得的结果作一番比较。

大多数基准测试旨在模拟 PC 在实际情形下遇到的那种工作负载。正因为如此，基准测试几乎就是获得定量数据、了解系统性能如何的唯一方法――如果你的数据差强人意，这表明应该升级部分PC部件。

所以，准备好测试你自己的 PC 了吗？下面是可供 Linux 用户使用的一些比较实用的基准测试。

一、一体化基准测试

一体化基准测试工具又叫基准测试套件，恰如其名：它们测试和衡量系统的各个方面，而不是专注于某一个特定的硬件，如果你不想用三四个不同的工具搞乱系统，这很有用。

1、Phoronix 测试套件

Phoronix 测试套件是最知名的一体化 Linux 基准测试解决方案之一。有一些人声称，它有许多固有的问题当然，我们不会说它在各方面完美无缺，但是它对大多数用户来说足够好。另外，外面值得一用的替代套件并不多。

Phoronix 可使用 100 多个不同的测试套件（即一组组单项测试）和 450 多个不同的测试配置文件。你可以选择只安装所需的那部分，所以如果你只关注处理器和普通硬盘基准测试，那么只要安装“Processor_Tests”和“Disk_Tests”。它还支持系统日志和报告。

最棒的是，Phoronix 是自由而开源的。它还提供 Live CD 这种形式，名为 PTS Desktop Live，让你可以直接从 CD、DVD 或 U 盘来运行，所以你可以在需要时使用“干净”的 *** 作系统，测试任何机器的硬件。

2、Stress-ng

你可能从名称中猜得，stress-ng 是真正的压力测试――它极其适合测试系统的极限，但是由于它要求很严苛，我们不建议经常运行它。如果反复接受压力测试，某些部件（尤其是处理器和普通硬盘）会损耗得更快。

将 stress-ng 安装到 Debian 和 Ubuntu 上：

sudo apt-get install stress-ng

将 stress-ng 安装到 Fedora、Red Hat 和 CentOS 上：

sudo yum install stress-ng

一旦安装完毕，stress-ng 可以测试各种各样的部件，包括处理器、内存、输入/输出、 网络、虚拟内存及更多部件。它还很容易配置――针对每项测试，你可以指定不同的参数，比如多少测试实例、多少个处理器核心、测试强度多大、运行多久等。

介绍所有不同的命令和参数不在本文的范围之内，但是 Ubuntu 维基上的这个页面是个不错的起始点。

3、PassMark BurnInTest

PassMark 拥有各种各样的 PC 测试和监控软件，包括大名鼎鼎的 MemTest86 和 PerformanceTest 应用程序，它们只面向Windows 用户。另一方面，BurnInTest 应用程序却有 Linux 版本，它无疑值得尝试一番。

简而言之，它能同时测试计算机的所有主要子系统。但它不是测试纯粹的性能，而是更加专注于稳定性和可靠性。为了获得最佳结果，我们推荐将它与其他一些形式的性能测试手段结合起来。

它提供免费 30 天试用的服务；一旦试用期结束，就要收费（79 美元）。

二、处理器基准测试

比较两个不同的处理器很困难。还记得你知道奔腾 III 几乎总是胜过奔腾 II 的日子吗？有时候，i5 的性能胜过 i7，四核并非总是胜过双核。

正由于如此，处理器可以从基准测试比较得到最大的好处――超过其他任何一个 PC 硬件。如果你决定不使用上述一体化测试，那么可以从下面两款工具中的一款入手。

1、Geekbench

Geekbench 是目前市面上最出色的处理器基准测试之一。它随带 10 项整数工作负载测试和 8 项浮点工作负载测试――其中一些测试在 Hardinfo（下有介绍）中也有，但是其中一些是 Geekbench 特有的。

Windows 版本和 Mac 版本随带用户界面，但 Linux 版本只有命令行可执行文件。基准测试结果上传到网上，让你可以以一种比终端更直观的方式查看分数。

上传后，Geekbench 会在功能有限的“尝试模式”（实际上是无限制的免费试用）下运行，只有 64 位和 OpenCL 基准测试。想要 CUDA 基准测试、独立模式及其他功能，你需要购买 Geekbench 或 Geekbench 专业版。

2、Hardinfo

可以使用原生软件包管理器从大多数发行版获取 Hardinfo，不过我觉得在 Deiban 和 Ubuntu 上运行这个命令来得更容易：

sudo apt-get install hardinfo

或者在 Fedora、Red Hat 和 CentOS 上运行这个命令：

sudo yum install hardinfo

Hardinfo 随带 6 项不同的基准测试，每一种测试提供了一个分数，你可以用分数来准确地与其他系统比较。处理器测试执行整数运算，FPU 测试执行浮点运算。比较结果时，确保比较的是同样的测试。

Hardinfo 还是一种迅速获取系统信息的有用方式。只要浏览侧边栏中的各个页面，即可查看计算机配置的详细信息。

三、GPU 基准测试

想以一种非科学的方式测试系统的图形功能，只要看看你的 PC 能不能处理图形密集型游戏。想获得更准确的结果，只要运行下列这些测试。

1、Unigine

Unigine 有两项基准测试值得一提：Valley 基准测试和 Heaven 基准测试。每一项测试渲染不同的场景（分别是覆以森林的山谷和一系列浮空岛），迫使你的 GPU“超时工作”。

这是大多数 Linux 游戏玩家首选的图形基准测试。

免费基准测试是交互式，完全足以大致了解你的 GPU 有多好，但是如果是商业用途、进行深入的逐帧分析，专业版必不可少。售价 495 美元。

2、GFXBench

GFXBench 之前名为 GLBenchmark，它是面向 Linux 系统的两种主要的图形基准测试中名气较小的。它随带两组测试：高级测试（总体性能）和低级测试（特定功能的性能）。

四、数据硬盘基准测试

说到存储数据的硬盘，速度并非总是最重要。比如说，当硬盘用来存储备份内容，主要的问题是寿命、可靠性和容量。不过若是日常 *** 作，你需要性能出色的高速固态硬盘。

1、Hdparm

Hdparm 是一种命令行实用工具，安装在大多数现代的发行版上，非常易于使用。它不仅可用来测试驱动器的性能，还可以针对每个驱动器来改变设置（比如开启或关闭 DMA）。不过要小心：如果使用不当，Hdparm 会导致驱动器崩溃或损坏!

首先，使用 df 命令列出系统上的所有驱动器。找到想要测试的那个驱动器――如果你没有把握，可以使用上下文，比如总的磁盘空间或挂载位置，然后与下列命令结合使用。以本文为例，我的驱动器是 /dev/sda2。

为了测试缓冲读取性能：

sudo hdparm -t /dev/sda2

/dev/sda2:

Timing buffered disk reads: 180 MB in 3.00 seconds = 59.96 MB/sec`

为了测试缓存读取性能：

sudo hdparm -T /dev/sda2

/dev/sda2:

Timing cached reads: 3364 MB in 2.00 seconds = 1682.75 MB/sec`

无论你使用哪一个，都要多次运行命令，以获得多个读数，然后求平均值，以便更准确地了解性能。确保你没有做可能影响读数的其他任何 *** 作，比如传输文件。

2、Bonnie++

Bonnie++ 是一种自由的实用工具，旨在基准测试文件系统和硬驱性能。它并不直接安装在大多数发行版上，但是应该出现在核心代码库中。可使用下列命令安装到 Debian 和 Ubuntu上：

sudo apt-get install bonnie++

或者使用这个命令安装到Fedora、Red Hat或CentOS上：

sudo yum install bonnie++

一旦安装完毕，运行Bonnie++的最简单方法就是使用下列命令：

bonnie++ -d /tmp -r 2048 -u [username]

这会在 /tmp 目录下运行测试（因而测试 /tmp 所在的驱动器的性能），使用的参数表明系统有 2048MB 内存，测试将以[用户名]的用户权限来运行，本文中该用户是 jleeso。

不确信你的系统上有多少内存？请使用 free –m 命令，在合计栏下查找 Mem。

最后，你会看到逗号分隔的一行，上面是密密麻麻的不同数字。这些就是你的结果。比例：

1.96,1.96,ubuntu,1,1378913658,4G,,786,99,17094,3,15431,3,4662,91,37881,4,548.4,17,16,,,,,142,0,+++++,+++,+++++,+++,+++++,+++,+++++,+++,+++++,+++,16569us,15704ms,2485ms,51815us,491ms,261ms,291us,400us,710us,382us,42us,787us

拷贝它，输入下面这个命令：

echo "[粘贴你的结果]" | bon_csv2html >/tmp/t

---