fio文件系统性能测试

备注：

使用的是yum 进行的安装，大家可以使用源码编译安装(centos 7)

安装

yum install -y fio

使用

filename: 指定文件(设备)的名称。可以通过冒号分割同时指定多个文件，如filename=/dev/sda:/dev/sdb。

directory: 设置filename的路径前缀。在后面的基准测试中，采用这种方式来指定设备。

name: 指定job的名字，在命令行中表示新启动一个job。

direct: bool类型，如果设置成true (1)，表示不使用io buffer。

ioengine: I/O引擎，现在fio支持19种ioengine。默认值是sync同步阻塞I/O，libaio是Linux的native异步I/O。关于同渣耐脊步异步，阻塞和非阻塞模型可以参考文章“使用异步 I/O 大大提高应用程序的性能”。

iodepth: 如果ioengine采用异步方式，该参数表示一批提交保持的io单元数。该参数可参考文章“Fio压测工亩滚具和io队列深度理解和误区”。

rw: I/O模式，随机读写，顺序读写等等。

bs: I/O block大小，默认是4k。

size: 指定job处理的文件的大小。

numjobs: 指定job的克隆数(线程)。

time_based: 如果在runtime指定的时间还没到时文件就被读写完成，将继续重复知道runtime时间结束。

runtime: 指定在多少秒后停止进程。如果未指定该参数，fio将执行至指定的文件读写完全完成。

group_reporting: 当同时指定了numjobs了时，输出结果按组显示。

参考说明

filename=/dev/sdb1 #测试文件名称，通常选择需要测试的盘的data目录

direct=1 #测试过程绕过机器自带的buffer。使测试结果更真实

rw=randwrite #测试随机写的I/O

rw=randrw #测试随机写和读的I/O

bs=16k #单次io的块文件大小为16k

bsrange=512-2048 #同上，提定数据块的大小范围

size=5G #本次的测试文件大小为5g，以每次4k的io进行测试

numjobs=30 #本次的测试线程为30个

runtime=1000 #测试时间1000秒，如果不写则一直将5g文件分4k每次写完为止

ioengine=psync #io引擎使用psync方式

rwmixwrite=30 #在混合读写的模式下，写占30%

group_reporting #关于显示结果的，汇总每个进程的信息

lockmem=1G #只使用1g内存进行测试

zero_buffers #用0初始化系统buffer

nrfiles=8 #每个进程生成文如渗件的数量

#顺序读

fio -filename=/dev/sda -direct=1 -iodepth 1 -thread -rw=read -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=1000 -group_reporting -name=mytest

#顺序写

fio -filename=/dev/sda -direct=1 -iodepth 1 -thread -rw=write -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=1000 -group_reporting -name=mytest

#随机读

fio -filename=/dev/sda -direct=1 -iodepth 1 -thread -rw=randread -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=1000 -group_reporting -name=mytest

#随机写

fio -filename=/dev/sda -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=1000 -group_reporting -name=mytest

#混合随机读写

fio -filename=/dev/sda -direct=1 -iodepth 1 -thread -rw=randrw -rwmixread=70 -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=100 -group_reporting -name=mytest -ioscheduler=noop

#复制下面的配置内容，将directory=/path/to/test修改为你测试硬盘挂载目录的地址，并另存为fio.conf

[global]

ioengine=libaio

direct=1

thread=1

norandommap=1

randrepeat=0

runtime=60

ramp_time=6

size=1g

directory=/path/to/test

[read4k-rand]

stonewall

group_reporting

bs=4k

rw=randread

numjobs=8

iodepth=32

[read64k-seq]

stonewall

group_reporting

bs=64k

rw=read

numjobs=4

iodepth=8

[write4k-rand]

stonewall

group_reporting

bs=4k

rw=randwrite

numjobs=2

iodepth=4

[write64k-seq]

stonewall

group_reporting

bs=64k

rw=write

numjobs=2

iodepth=4

#测试

fio fio.conf

打反了吧,是 ifo文件吧?

【IFO—DVD文件】

IFO文件的全称是InFOrmation。IFO文件为播放器提供十分重要的导航信息。比如一个章节从什么地方开始，一个特定的音频流或者字幕流在什么地方，等等。因此IFO文件是控制DVD播放进程的重要文件。

【IFO文件作用】

DVD光盘上的目录包含了AUDIO_TS和VIDEO_TS 两个子目录。由于Audio_ts是保留给DVD版的激光唱片DVD-AUDIO使用的，所以在DVD影片光唤神首盘中，这个文件夹是空的；而Video_ts中则保存着影片所有的视频音频和字幕信息。依照DVD影片光盘(DVD-VIDEO)标准的规定，一个标准的Video_ts文件夹中应该包含三种类型的文件：VOB、IFO、BUP，下面我们再来分别看一下它们各自的作用。

VOB (Video OBjects视频目标文件)：VOB文件用来保存DVD影片中的视频数据流、音频数据流、多语言字幕数据流以及供瞎拍菜单和按钮使用的画面数据。由于一个VOB文件中最多可以保存1个视频数据流、9个音频数据流和32个字幕数据流，所以DVD影片也就可以拥有最多9种语言的伴音和32种语言的字幕。

IFO (InFOrmation信息文件)：IFO文件用来控制VOB文件的播放。文件中保存有怎样以及何时播放VOB文件中数据的控制信息，比如段落的起始时间、音频数据流的位置、字幕数据流的位置等信息。DVD机或者播放软件通过读取IFO文件，才能把组成DVD影片的各种数据有机地结合起来进行播放。由于IFO文件关系到光盘能否正常播放，因此所有的IFO文件都有一个备份——即相应同名的BUP文件。标准的DVD光盘都是自动播放的。是否自动播放，在于微机播放器的设置。

BUP (BackUP备份文件)：BUP文件和IFO文件的内容完全相同，是IFO文件的备份。由于IFO文件对于保证影片的正常播放非常和数重要，所以需要保留一个副本，以备在IFO文件的读取发生错误时仍然可以通过读取BUP文件来得到相应的信息。

Summary : Multithreaded IO generation tool

Description : fio is an I/O tool that will spawn a number of threads or processes doing a particular type of io action as specified by the user.  fio takes a number of global parameters, each inherited by the thread unless otherwise parameters given to them overriding that setting is given.

The typical use of fio is to write a job file matching the io load one wants to simulate.

多线程IO生成工具陪腊早

fio是一个I / O工具，它将产生许多线程或正在执行的进程 ，由用户指定的特定类型的io *** 作。 

fio需要一个 全局参数的数量，每个参数都由线程继承，否则给他们的参数将覆盖该设置。 

fio的典型用法是编写与io负载匹配的需要模拟的作业文件 。

官网地址： http://freecode.com/projects/fio

# yum -y install libaio gtk2 libaio-devel gtk2-devel

# yum -y install fio

# yum info fio

# rpm -ql fio | grep "bin"

应用使用IO通常有二种方式：同步和异步。 

同步的IO一次只能发出一个IO请求，等待内核完成才返回，这样对于单个线程iodepth总是小于1，但是可以透过多个线程并发执行来解决，通常我们会用16-32根线程同时工作把iodepth塞满。

异步的话就是用类似libaio这样的Linux native aio一次提交一批，然后等待一批的完成，减少交互的次数，会更有效率。

注意 : 性能测试建议直接通过写裸盘的方式进行测试，会得到较为真实的数据，但直接测试裸盘会破坏文件系统结构，导致数据丢失，请在测试前确认磁盘中数据已备份。

# fio   -direct=1  -iodepth=64  -rw=read  -ioengine=libaio  -bs=4k  -size=10G  -numjobs=1  -name=./fio.test

"-direct=1"，代表采用非 buffered I/O 文件读写的方式，避免文件读写过程中内存缓冲对性能的影响

"-iodepth=64"和"-ioengine=libaio"这两个参数，这里指文件读写采用异步 I/O（Async I/O）的方式，也就是进程可以发起多个 I/O 请求，并且不用阻塞地等待 I/O 的完成。稍后等 I/O 完成之后，进程会收到通知。这种异步 I/O 很重要，因为它可以极大地提高文件读写的性能。在这里我们设置了同时发出 64 个 I/O 请求

"-rw=read，-bs=4k，-size=10G"，这几个参数指这个测试是个读文件测试，每次读 4KB 大小数块，总共读 10GB 的数据。最后一个参数是"芦雀-numjobs=1"，指只有一个进程 / 线程在运行。所以，这条 fio 命令表示我们通过异步方式读取了 10GB 的磁盘文件，用来计算文件的读取性能。

我们看到局氏在 上图中测试中， I/O 性能是 15.9MB/s 的带宽，IOPS（I/O per second）是 4076 左右。

fio压测工具和io队列深度理解和误区

http://blog.yufeng.info/archives/2104

fio – IO压力测试工具

https://younger.blog.csdn.net/article/details/71129541

fio安装使用方法

https://www.kclouder.cn/fio

fio模拟MySQL服务器IO压力脚本

http://blog.yufeng.info/archives/1497

fio使用详解

https://blog.csdn.net/m0_37972390/article/details/80019762

Fio Output Explained

https://tobert.github.io/post/2014-04-17-fio-output-explained.html

---