如何测试云硬盘

问题
UOS公有云开放以来，一些用户反应用dd命令测试出来的1TB云硬盘的吞吐率(MBPS)只有128MB/s，而不是我们SLA保证的170MB /s ，这是为什么？下面我会简单介绍如何测试硬盘，RAID，SAN，SSD，云硬盘等，然后再来回答上面的问题。
测试前提
我们在进行测试时，都会分清楚:
测试对象：要区分硬盘、SSD、RAID、SAN、云硬盘等，因为它们有不同的特点
测试指标：IOPS和MBPS(吞吐率)，下面会具体阐述
测试工具：Linux下常用Fio、dd工具, Windows下常用IOMeter,
测试参数: IO大小，寻址空间，队列深度，读写模式，随机/顺序模式
测试方法：也就是测试步骤。
测试是为了对比，所以需要定性和定量。在宣布自己的测试结果时，需要说明这次测试的工具、参数、方法，以便于比较。
存储系统模型
为了更好的测试，我们需要先了解存储系统，块存储系统本质是一个排队模型，我们可以拿银行作为比喻。还记得你去银行办事时的流程吗？
去前台取单号
等待排在你之前的人办完业务
轮到你去某个柜台
柜台职员帮你办完手续1
柜台职员帮你办完手续2
柜台职员帮你办完手续3
办完业务，从柜台离开
如何评估银行的效率呢：
服务时间 = 手续1 + 手续2 + 手续3
响应时间 = 服务时间 + 等待时间
性能 = 单位时间内处理业务数量
那银行如何提高效率呢:
增加柜台数
降低服务时间
因此，排队系统或存储系统的优化方法是
增加并行度
降低服务时间
硬盘测试
硬盘原理
我们应该如何测试SATA/SAS硬盘呢？首先需要了解磁盘的构造，并了解磁盘的工作方式：
每个硬盘都有一个磁头(相当于银行的柜台)，硬盘的工作方式是：
收到IO请求，得到地址和数据大小
移动磁头(寻址)
找到相应的磁道(寻址)
读取数据
传输数据
则磁盘的随机IO服务时间:
服务时间 = 寻道时间 + 旋转时间 + 传输时间
对于10000转速的SATA硬盘来说，一般寻道时间是7 ms，旋转时间是3 ms, 64KB的传输时间是 08 ms， 则SATA硬盘每秒可以进行随机IO *** 作是 1000/(7 + 3 + 08) = 93，所以我们估算SATA硬盘64KB随机写的IOPS是93。一般的硬盘厂商都会标明顺序读写的MBPS。
我们在列出IOPS时，需要说明IO大小，寻址空间，读写模式，顺序/随机，队列深度。我们一般常用的IO大小是4KB，这是因为文件系统常用的块大小是4KB。
使用dd测试硬盘
虽然硬盘的性能是可以估算出来的，但是怎么才能让应用获得这些性能呢？对于测试工具来说，就是如何得到IOPS和MBPS峰值。我们先用dd测试一下SATA硬盘的MBPS(吞吐量)。
#dd if=/dev/zero of=/dev/sdd bs=4k count=300000 oflag=direct
记录了300000+0 的读入 记录了300000+0 的写出 1228800000字节(12 GB)已复制，17958 秒，684 MB/秒
#iostat -x sdd 5 10

Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s avgrq-sz avgqu-sz await svctm %util
sdd 000 000 000 1679480 000 13435840 800 079 005 005 7882

为什么这块硬盘的MBPS只有68MB/s 这是因为磁盘利用率是78%，没有到达95%以上，还有部分时间是空闲的。当dd在前一个IO响应之后，在准备发起下一个IO时，SATA硬盘是空闲的。那么如何才能提高利用率，让磁盘不空闲呢？只有一个办法，那就是增加硬盘的队列深度。相对于CPU来说，硬盘属于慢速设备，所有 *** 作系统会有给每个硬盘分配一个专门的队列用于缓冲IO请求。
队列深度
什么是磁盘的队列深度？
在某个时刻,有N个inflight的IO请求,包括在队列中的IO请求、磁盘正在处理的IO请求。N就是队列深度。
加大硬盘队列深度就是让硬盘不断工作，减少硬盘的空闲时间。
加大队列深度 -> 提高利用率 -> 获得IOPS和MBPS峰值 -> 注意响应时间在可接受的范围内
增加队列深度的办法有很多
使用异步IO，同时发起多个IO请求，相当于队列中有多个IO请求
多线程发起同步IO请求，相当于队列中有多个IO请求
增大应用IO大小，到达底层之后，会变成多个IO请求，相当于队列中有多个IO请求 队列深度增加了。
队列深度增加了，IO在队列的等待时间也会增加，导致IO响应时间变大，这需要权衡。让我们通过增加IO大小来增加dd的队列深度，看有没有效果：
dd if=/dev/zero of=/dev/sdd bs=2M count=1000 oflag=direct
记录了1000+0 的读入 记录了1000+0 的写出 2097152000字节(21 GB)已复制，106663 秒，197 MB/秒
Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s avgrq-sz avgqu-sz await svctm %util
sdd 000 000 000 38060 000 38973440 102400 239 628 256 9742
可以看到2MB的IO到达底层之后，会变成多个512KB的IO，平均队列长度为239，这个硬盘的利用率是97%，MBPS达到了197MB/s。(为什么会变成512KB的IO，你可以去使用Google去查一下内核参数 max_sectors_kb的意义和使用方法 )
也就是说增加队列深度，是可以测试出硬盘的峰值的。
使用fio测试硬盘
现在，我们来测试下SATA硬盘的4KB随机写的IOPS。因为我的环境是Linux，所以我使用FIO来测试。
$fio -ioengine=libaio -bs=4k -direct=1 -thread -rw=randwrite -size=1000G -filename=/dev/vdb \
-name="EBS 4K randwrite test" -iodepth=64 -runtime=60
简单介绍fio的参数
ioengine: 负载引擎，我们一般使用libaio，发起异步IO请求。
bs: IO大小
direct: 直写，绕过 *** 作系统Cache。因为我们测试的是硬盘，而不是 *** 作系统的Cache，所以设置为1。
rw: 读写模式，有顺序写write、顺序读read、随机写randwrite、随机读randread等。
size: 寻址空间，IO会落在 [0, size)这个区间的硬盘空间上。这是一个可以影响IOPS的参数。一般设置为硬盘的大小。
filename: 测试对象
iodepth: 队列深度，只有使用libaio时才有意义。这是一个可以影响IOPS的参数。
runtime: 测试时长
下面我们做两次测试，分别 iodepth = 1和iodepth = 4的情况。下面是iodepth = 1的测试结果。
上图中蓝色方框里面的是测出的IOPS 230, 绿色方框里面是每个IO请求的平均响应时间，大约是43ms。方框表示95%的IO请求的响应时间是小于等于 9920 ms。橙色方框表示该硬盘的利用率已经达到了9858%。
下面是 iodepth = 4 的测试:
我们发现这次测试的IOPS没有提高，反而IO平均响应时间变大了，是17ms。
为什么这里提高队列深度没有作用呢，原因当队列深度为1时，硬盘的利用率已经达到了98%，说明硬盘已经没有多少空闲时间可以压榨了。而且响应时间为 4ms。 对于SATA硬盘，当增加队列深度时，并不会增加IOPS，只会增加响应时间。这是因为硬盘只有一个磁头，并行度是1， 所以当IO请求队列变长时，每个IO请求的等待时间都会变长，导致响应时间也变长。
这是以前用IOMeter测试一块SATA硬盘的4K随机写性能，可以看到IOPS不会随着队列深度的增加而增加，反而是平均响应时间在倍增。
队列深度 IOPS 平均响应时间
1 332931525 3002217
2 333985074 5986528
4 332594653 12025060
8 336568012 23766359
16 329785606 48513477
32 332054590 96353934
64 331041063 193200815
128 331309109 385163111
256 327442963 774401781
寻址空间对IOPS的影响
我们继续测试SATA硬盘，前面我们提到寻址空间参数也会对IOPS产生影响，下面我们就测试当size=1GB时的情况。
我们发现，当设置size=1GB时，IOPS会显著提高到568，IO平均响应时间会降到7ms(队列深度为4)。这是因为当寻址空间为1GB时，磁头需要移动的距离变小了，每次IO请求的服务时间就降低了，这就是空间局部性原理。假如我们测试的RAID卡或者是磁盘阵列(SAN)，它们可能会用Cache把这1GB的数据全部缓存，极大降低了IO请求的服务时间(内存的写 *** 作比硬盘的写 *** 作快很1000倍)。所以设置寻址空间为1GB的意义不大，因为我们是要测试硬盘的全盘性能，而不是Cache的性能。
硬盘优化
硬盘厂商提高硬盘性能的方法主要是降低服务时间(延迟)：
提高转速(降低旋转时间和传输时间)
增加Cache(降低写延迟，但不会提高IOPS)
提高单磁道密度(变相提高传输时间)
RAID测试
RAID0/RAID5/RAID6的多块磁盘可以同时服务，其实就是提高并行度，这样极大提高了性能(相当于银行有多个柜台)。
以前测试过12块RAID0，100GB的寻址空间，4KB随机写，逐步提高队列深度，IOPS会提高，因为它有12块磁盘(12个磁头同时工作)，并行度是12。
队列深度 IOPS 平均响应时间
1 1215995842 0820917
2 4657061317 0428420
4 5369326970 0744060
8 5377387303 1486629
16 5487911660 2914048
32 5470972663 5846616
64 5520234015 11585251
128 5542739816 23085843
256 5513994611 46401606
RAID卡厂商优化的方法也是降低服务时间：
使用大内存Cache
使用IO处理器，降低XOR *** 作的延迟。
使用更大带宽的硬盘接口

SAN测试
对于低端磁盘阵列，使用单机IOmeter就可以测试出它的IOPS和MBPS的峰值，但是对于高端磁盘阵列，就需要多机并行测试才能得到IOPS和MBPS的峰值(IOmeter支持多机并行测试)。下图是纪念照。
磁盘阵列厂商通过以下手段降低服务时间：
更快的存储网络，比如FC和IB，延时更低。
读写Cache。写数据到Cache之后就马上返回，不需要落盘。 而且磁盘阵列有更多的控制器和硬盘，大大提高了并行度。
现在的存储厂商会找SPC帮忙测试自己的磁盘阵列产品(或全闪存阵列)， 并给SPC支付费用，这就是赤裸裸的标准垄断。国内也有做存储系统测试的，假如你要测试磁盘阵列，可以找NSTC (广告时间)。
SSD测试
SSD的延时很低，并行度很高(多个nand块同时工作)，缺点是寿命和GC造成的响应时间不稳定。
推荐用IOMeter进行测试，使用大队列深度，并进行长时间测试，这样可以测试出SSD的真实性能。
下图是storagereview对一些SSD硬盘做的4KB随机写的长时间测试，可以看出有些SSD硬盘的最大响应时间很不稳定，会飙高到几百ms，这是不可接受的。
云硬盘测试
我们通过两方面来提高云硬盘的性能的：
降低延迟(使用SSD，使用万兆网络，优化代码，减少瓶颈)
提高并行度(数据分片，同时使用整个集群的所有SSD)
在Linux下测试云硬盘
在Linux下，你可以使用FIO来测试
*** 作系统：Ubuntu 1404
CPU： 2
Memory: 2GB
云硬盘大小： 1TB(SLA: 6000 IOPS, 170MB/s吞吐率 )
安装fio：
#sudo apt-get install fio
再次介绍一下FIO的测试参数：
ioengine: 负载引擎，我们一般使用libaio，发起异步IO请求。
bs: IO大小
direct: 直写，绕过 *** 作系统Cache。因为我们测试的是硬盘，而不是 *** 作系统的Cache，所以设置为1。
rw: 读写模式，有顺序写write、顺序读read、随机写randwrite、随机读randread等。
size: 寻址空间，IO会落在 [0, size)这个区间的硬盘空间上。这是一个可以影响IOPS的参数。一般设置为硬盘的大小。
filename: 测试对象
iodepth: 队列深度，只有使用libaio时才有意义。这是一个可以影响IOPS的参数。
runtime: 测试时长
4K随机写测试
我们首先进行4K随机写测试，测试参数和测试结果如下所示：
#fio -ioengine=libaio -bs=4k -direct=1 -thread -rw=randwrite -size=100G -filename=/dev/vdb \
-name="EBS 4KB randwrite test" -iodepth=32 -runtime=60
蓝色方框表示IOPS是5900，在正常的误差范围内。绿色方框表示IO请求的平均响应时间为542ms， 方框表示95%的IO请求的响应时间是小于等于 624 ms的。
4K随机读测试
我们再来进行4K随机读测试，测试参数和测试结果如下所示：
#fio -ioengine=libaio -bs=4k -direct=1 -thread -rw=randread -size=100G -filename=/dev/vdb \
-name="EBS 4KB randread test" -iodepth=8 -runtime=60
512KB顺序写测试
最后我们来测试512KB顺序写，看看云硬盘的最大MBPS(吞吐率)是多少，测试参数和测试结果如下所示：
#fio -ioengine=libaio -bs=512k -direct=1 -thread -rw=write -size=100G -filename=/dev/vdb \
-name="EBS 512KB seqwrite test" -iodepth=64 -runtime=60

蓝色方框表示MBPS为174226KB/s，约为170MB/s。
使用dd测试吞吐率
其实使用dd命令也可以测试出170MB/s的吞吐率，不过需要设置一下内核参数，详细介绍在 128MB/s VS 170MB/s 章节中。
在Windows下测试云硬盘
在Windows下，我们一般使用IOMeter测试磁盘的性能，IOMeter不仅功能强大，而且很专业，是测试磁盘性能的首选工具。
IOMeter是图形化界面(浓浓的MFC框架的味道)，非常方便 *** 作，下面我将使用IOMeter测试我们UOS上1TB的云硬盘。
*** 作系统：Window Server 2012 R2 64
CPU： 4
Memory: 8GB
云硬盘大小： 1TB
当你把云硬盘挂载到Windows主机之后，你还需要在windows *** 作系统里面设置硬盘为联机状态。
4K随机写测试
打开IOMeter(你需要先下载)，你会看到IOMeter的主界面。在右边，你回发现4个worker(数量和CPU个数相同)，因为我们现在只需要1个worker，所以你需要把其他3个worker移除掉。

现在让我们来测试硬盘的4K随机写，我们选择好硬盘(Red Hat VirtIO 0001)，设置寻址空间(Maximum Disk Size)为50GB(每个硬盘扇区大小是512B，所以一共是 50102410241024/512 = 104857600)，设置队列深度(Outstanding I/Os)为64。
然后在测试集中选择”4KiB ALIGNED; 0% Read; 100% random(4KB对齐，100%随机写 *** 作)” 测试
然后设置测试时间，我们设置测试时长为60秒，测试之前的预热时间为10秒(IOMeter会发起负载，但是不统计这段时间的结果)。
在最后测试之前，你可以设置查看实时结果，设置实时结果的更新频率是5秒钟。最后点击绿色旗子开始测试。
在测试过程中，我们可以看到实时的测试结果，当前的IOPS是6042，平均IO请求响应时间是1056ms，这个测试还需要跑38秒，这个测试轮回只有这个测试。
我们可以看到IOMeter自动化程度很高，极大解放测试人员的劳动力，而且可以导出CSV格式的测试结果。
顺序读写测试
我们再按照上面的步骤，进行了顺序读/写测试。下面是测试结果：
IO大小 读写模式 队列深度 MBPS
顺序写吞吐测试 512KB 顺序写 64 16407 MB/s
顺序读吞吐测试 256KB 顺序读 64 17932 MB/s
云硬盘的响应时间
当前云硬盘写 *** 作的主要延迟是
网络传输
多副本，写三份(数据强一致性)
三份数据都落盘(数据持久化)之后，才返回
IO处理逻辑
我们当前主要是优化IO处理逻辑，并没有去优化2和3，这是因为我们是把用户数据的安全性放在第一位。
128MB/s VS 170MB/s
回到最开始的问题 “为什么使用dd命令测试云硬盘只有128MB/s”， 这是因为目前云硬盘在处理超大IO请求时的延迟比SSD高(我们会不断进行优化)，现在我们有两种方法来获得更高的MBPS：
设置max_sectors_kb为256 (系统默认为512)，降低延迟
使用fio来测试，加大队列深度
通过设置max_sectors_kb这个参数，使用dd也可以测出170MB/s的吞吐量
root@ustack:~# cat /sys/block/vdb/queue/max_sectors_kb
512
root@ustack:~# echo "256" > /sys/block/vdb/queue/max_sectors_kb
root@ustack:~#
root@ustack:~# dd if=/dev/zero of=/dev/vdb bs=32M count=40 oflag=direct
40+0 records in
40+0 records out
1342177280 bytes (13 GB) copied, 751685 s, 179 MB/s
root@ustack:~#
同时查看IO请求的延迟：
root@ustack:~# iostat -x vdb 5 100

Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
vdb 000 000 000 68800 000 17612800 51200 5459 9347 000 9347 140 9656
下面是使用fio工具的测试结果，也可以得到170MB/s的吞吐率。
不可测试的指标
IOPS和MBPS是用户可以使用工具测试的指标，云硬盘还有一些用户不可测量的指标
数据一致性
数据持久性
数据可用性
这些指标我们只能通过根据系统架构和约束条件计算得到，然后转告给用户。这些指标衡量着公有云厂商的良心，有机会会专门进行介绍。
总结
上面介绍了一下测试工具和一些观点，希望对你有所帮助。
测试需要定性和定量
了解存储模型可以帮助你更好的进行测试
增加队列深度可以有效测试出IOPS和MBPS的峰值

一、服务器测试方法分为两个大方面，性能测试与功能测试。

在性能测试方面采用了新的测试方法，主要分为文件测试、数据库性能测试与Web性能测试三个方面。其中，文件性能与数据库性能采用美国Quest软件公司的Benchmark Factory负载测试和容量规划软件，Web性能测试则使用了Spirent公司提供的Caw WebAvalanche测试仪。

问题一：怎么看一个硬盘的传输速度 要看传输速度就下载硬盘测试工具 一般的硬盘传输速度主要是看二级缓存 目前希捷的比金钻的传输速度快一点 一般是感觉不到的 在解压的时候就比较明显。 台式机硬盘的转数速度一般是7200转和5400转

问题二：如何查看硬盘读取速度 你是指硬盘读取速度实时监控还是读取速度测试？
实时监控：
如果是Win7 *** 作系统的话倒是可以通过资源监视器来观察：任务栏空白处点右键 任务管理器 性能（选项卡） 资源监视器（按钮） 磁盘（选项卡），
“磁盘活骇的进程”栏显示的是当前所有进程的硬盘读写速度，右边折线图显示的是各个硬盘的读写速度。
至于XP，我暂时不知道哪个软件能实时监控的。
如果是速度测试，可以用HDTrue等软件测试，也可以用Fastcopy复制文件根据软件显示的速度来测试

问题三：怎么查看移动硬盘的传输速度 最简单直观的方法：
1、找一台安装windows7以上版本系统的电脑。
2、从移动硬盘中复制文件到此电脑中，可以直接看到复制进度以及传输速度，如下图所示。

问题四：怎么测试硬盘传输速度 CrystalDiskMark 简称 CDM，是一款比较流行的硬盘/存储器性能测试工具
AS SSD Benchmark 如其名，是一款专门用于测试 SSD 固态硬盘性能的工具，此软件可以测出固态硬盘持续读写等的性能

问题五：如何查看自己硬盘的最大读写速度 方法一：在网上下载这个软件 硬盘测速工具HD_Speed；
方法二：如果是win7系统，可以通过资源监视器来查看。任务栏空白处点击右键，任务管理器，性能（选项卡），资源监视器（按钮），磁盘（选项卡）。

问题六：硬盘速度快不快。应该看哪些参数。 一看转速，必须7200转以上才快。
二看缓存，32是低配，64M以上的缓存才快。
三看寻道时间和连续传输速度。寻道时间在14ms以下的，装系统比较快，12的话就更好了。连续传输，不应低于180M/秒。这个一般不会标，要看评测才知道。
四看接口。SATA3比SATA2快，但这个其实影响不大，基本可以忽略。
其实，想让硬盘快，最好还是买SSD。随机读写（就是硬盘的寻道速度）至少比机械盘快100倍！

问题七：如何测试移动硬盘传输速度 HD TUNE可以测试，功能比较全面的一个软件

问题八：如何查看移动硬盘的传输速度，是xp系统。 下载一个叫MyDiskTest的软件，可以测试传输速度

问题九：一般硬盘读取速度和写入速度是多少 硬盘的传输速率：作为电脑中最重要的数据存储设备和数据交换媒介，硬盘传输速率的快慢直接影响了系统的运行速度。不同类型的硬盘，其传输速率往往差别很大。现在主流硬盘主要有三种：按照不同的接口可以分为并口ATA硬盘（即IDE硬盘）、SCSI硬盘和Serial ATA硬盘。
IDE接口硬盘在当前电脑中应用最为广泛，主流的规格包括ATA/66、ATA/100、ATA/133，这种命名方式也表明了它们在理论上的外部最大传输速率分别达到了66MB/s、100MB/s和133MB/s。这里需要说明：100MB/s、133MB/s是峰值速度，并不能表示硬盘能持续这个速度，也就是说这是理论上的最高峰值速度。
硬盘真正的传输速度由于受硬盘内部传输速率的影响，其稳定传输速率一般在30MB/s到45MB/s之间。这样随着CPU、内存等硬件运行速度的不断提高，ATA硬盘的低速率渐渐成为影响整机运行速度的瓶颈。于是，一种新的硬盘接口方式，Serial ATA应运而生。
Serial ATA 硬盘就是我们常说的串口硬盘，它采用点对点的方式实现了数据的分组传输从而带来更高的传输效率。Serial ATA 10版本硬盘的起始传输速率就达到150MB/s，而Serial ATA 30版本将实现硬盘峰值数据传输率为600MB/s，从而最终解决硬盘的系统瓶颈问题。
SCSI接口不是专为硬盘设计的，实际上它是一种总线型的接口，独立于系统总线工作。SCSI接口的硬盘以高稳定性、低CPU占有率而被广泛应用于服务器和专业工作站中，它的传输速率最高可达320MB/s。当然，对于硬盘的整体性能而言，除了硬盘的传输速率，硬盘的转速、缓存及平均寻道时间等也是重要的因素。
小知识：1．硬盘的内部数据传输率
内部数据传输率是磁头到硬盘的高速缓存之间的数据传输速度，这可以说是影响硬盘整体性能的关键，一般取决于硬盘的盘片转速和盘片数据线密度。在这项指标中常常使用MB/s或Mbps为单位，这是兆位/秒的意思，如果需要转换成MB/s(兆字节/秒)，就必须将Mbps数据除以8。例如有的硬盘给出最大内部数据传输率为240Mbps，但如果按MB/s计算就只有30MB/s。由此可以看出目前硬盘作为电脑的瓶颈，其病根还在于硬盘的内部数据传输率上。
2．硬盘的外部数据传输率
指从硬盘缓冲区读取数据的速率。它与硬盘的接口类型是直接挂钩的，因此在广告或硬盘特性表中常以数据接口速率代替，单位为MB/s如我们平常所说的ATA100/133硬盘。
光驱的传输速率：通常光驱传输速率的高低取决于光驱的倍速，如16X DVD、52X的CD-ROM，一般情况下光驱的倍速越高，数据传输也就越快。那么“倍速”是个什么概念呢？原来很早以前CD-ROM的传输速率很低，每秒只能传送150KB字节，即最初光驱的速率为150KB/s，这就是1X（单倍速）的CD-ROM光驱。后来随着CD-ROM光驱技术的日新月异，其速率越来越快，为了区分不同速率的光驱，于是把最初的150KB/s作为基准进行衡量得到相应的倍速值。如50X的CD-ROM就是指其传输的速度是1X光驱的50倍即其速率为50×150KB/s=7500KB/s。而现在流行的DVD-ROM的速率算法也基本相同，只不过DVD-ROM的单倍速率要比CD-R>>

---