天翼云OOS率先突破SMR技术瓶颈，14TB领跑国内存储市场

天翼云OOS率先突破SMR技术瓶颈，14TB领跑国内存储市场

1.1的前世。SMR科技

目前，大数据的爆炸式增长使得原有的存储容量无法满足用户的需求，于是SMR(TileMagneticRecording)技术诞生了。垂直磁记录技术已经逐渐达到存储密度的极限，单位存储密度有限，严重制约了云存储的应用范围和效果。同样的磁记录技术，叠加SMR技术，可以增加15%-25%的磁道密度，进一步降低单位GB成本。目前，SMR磁盘的单盘容量已经达到14TB。预计硬盘厂商将于2018年下半年发布18TBSMR磁盘，容量约为企业级市场使用的主流8TBSATA/NL_SAS磁盘的两倍。

SMR磁盘利用了磁盘在读取数据时所需的轨道宽度比写入数据时所需的轨道宽度窄的特点，写入数据时，轨道像瓦片一样一层一层重叠。SMR技术通过重叠磁道，减少了磁道之间的距离，提高了单位面积的存储密度，增加了磁盘容量(如图1所示)。

图1SMR磁盘和普通磁盘磁记录方法的比较

SMR技术在未来还可以应用于微波辅助磁记录(MAMR)和热辅助磁记录(HAMR)技术，以提高容量，但磁盘的制造工艺发生了很大变化。SMR技术只能通过对现有磁盘进行一些修改来实现。目前，希捷和西部数据等主要磁盘供应商的产品线中都有SMR产品。

2.天翼云OOSKVDisker成功突破SMR技术瓶颈

目前，SMR技术已成功应用于中国电信天翼云OOS(对象存储)产品系列，并在天翼云OOS第五代存储产品中实现商用，其成熟度已被实践证明。同时，天翼云计划在第六代OOS(国家存储网络)中更大规模地使用它。据业内磁盘制造商称，天翼云，即中国第一家商业SMR技术公司，已成为存储领域创新应用的基准案例。

1)SMR技术的局限性和挑战

SMR技术增加了容量，降低了成本，但它的应用也带来了问题和挑战。磁道重叠后，必须按顺序写入，否则会损坏相邻磁道的数据。正因为如此，目前业界普遍使用的磁盘文件系统，如EXT/XFS，由于需要随机修改数据，无法在SMR磁盘上运行，给SMR的应用带来了很大的困难。业内人士表示，目前只有微软Azure等少数国际云计算巨头有足够的技术规模商用SMR盘。

中国电信天翼云对象存储(OOS)一直在努力降低单位存储的成本和能耗空。SMR磁盘一上市，我们就联系了相关的服务器和磁盘供应商，并开始测试SMR磁盘。

SMR磁盘的应用主要存在以下问题:

1.如果采用驱动器管理的SMR模式实现磁盘顺序写入，应用程序不需要修改。由于上层业务写请求是随机的，磁盘固件资源有限，性能无法保证，很难满足业务需求。它仅适用于写入后未被修改的归档数据，不能用于OOS标准存储。据业内人士透露，一些公司为了降低成本已经放弃使用这种磁盘，但他们不想投入研发，导致性能低下。

2.如果采用主机管理的SMR模式，可以将磁盘分成几个分区，分区可以随机写入，分区必须顺序写入。托管SMR为主机提供分区管理接口，主机保证数据的顺序写入。由于引入了新的磁盘类型和新的管理命令，没有现成的文件系统支持，所以需要修改或重新开发文件系统。目前，还没有与主机管理的SMR磁盘兼容的成熟文件系统。

3. *** 作系统内核和HBA卡之间的兼容性需要进行严格的测试。不兼容的系统可能无法识别SMR磁盘，不兼容的HBA可能会导致磁盘收到的SCSI命令顺序混乱，从而导致写入失败。

4.垃圾回收(以下简称GC):SMR磁盘顺序写入带来的问题是，被删除的空空间无法直接重用，必须将有效数据移动到其他位置回收空空间。GC会带来写放大，影响性能。如何合理设计空之间的分配和回收算法，减少不必要的数据移动，是SMR最终可用的一大挑战。

5.数据重建时间长:超大容量硬盘一旦出现故障，其数据重建时间会非常长。如果磁盘在数据重建过程中损坏，可能会导致副本较少的对象的数据丢失。

2)天翼云OOS如何突破SMR技术瓶颈？

虽然SMR盘的应用存在诸多技术挑战，但通过行业内领先厂商的产品动向，我们可以看到未来硬盘的发展方向，SMR技术将成为主流。即使将来会有HAMR等技术进一步提高磁密度，只要写数据的宽度大于读数据的宽度，SMR技术就会一直存在。同时，与SMR相对应的“顺序写入”可能是未来的一种趋势，因为SSD也需要类似的机制来平滑闪存颗粒的磨损。因此，天翼云Host团队从2015年开始坚定不移地自主研发主机托管SMR。

中国电信天翼云OOS通过产品设计和R&D实力，在软件层做了大量的优化和淘汰，解决了技术升级带来的负面影响，突破了SMR的技术局限，体现了平铺存储对于单盘存储容量提升的优势。既能提高单机存储容量上限，又能避免读写效率和性能的瓶颈。

同时，结合中国电信OOS的特点，天翼云设计了一套键值存储系统——Kvdisker，类似于文件系统，兼容SMR磁盘。结合对象存储的特点，KVDisker可以有效降低SMR技术引入带来的问题和风险，将技术和应用完美融合，实现基于SMR的磁盘在业界的领先应用。值得注意的是，KVDisker是中国电信天翼云OOSR&D团队研发的完全自主的技术:它不基于任何现成的文件系统(如EXT/XFS)，而是直接读写磁盘；没有支持SMR的开源软件，所有代码都是自己开发的；除了与磁盘供应商的上下游关系，没有任何厂商的外部支持。经过一系列严格的测试，天翼云OOSR&D团队还帮助磁盘供应商发现并解决了磁盘固件中的一些bug，双方的产品质量得到了提升。

KVDisker在OOS系统中的位置如图2所示。其中，

(1)对象层负责协议分析和对象属性保存；

(2)Ostor层负责对象的冗余保证；

(3)KVDisker负责读写磁盘:对于上层业务，KVDisker直接提供Key-ValueAPI，可以方便的接入到现有的OOS系统中；对于下层磁盘，KVDisker直接管理PMR和SMR磁盘，不需要文件系统。

图二。Kvdisker在系统中的位置

综上所述，KVDisker针对SMR磁盘应用中可能遇到的兼容性问题、性能问题、垃圾收集效率问题、卸载速度问题进行了针对性的优化。

2.1兼容性

田芸联合厂商对主流HBA卡进行了严格测试。鉴于SCSI命令可能出现的乱序，应用层空的顺序分布保证了命令的顺序发送。

2.2性能

性能方面，天翼云从元数据、数据、空三个维度进行分布，全面提升读写、遍历、检索的效率。

1.元数据:与文件系统庞大完整的元数据结构相比，KVDisker的元数据只存储时间戳、数据位置、校验值等必要的数据。，所以KVDisker的元数据很小，大大提高了检索效率。

2.元数据保存:文件系统的元数据存储在磁盘上的不同位置，导致文件遍历缓慢。KVDisker的元数据有序存储在磁盘的传统区域，在特定测试环境下遍历效率比文件系统高10倍。

3.元数据读取:KVDisker读取元数据只需要一次请求，不需要查找目录，提高了读取效率。

4.空之间的分布:空之间的KVDisker顺序分布充分利用了磁盘的快速写入速度，提高了写入速度。

5.数据读取:KVDisker直接发送SCSI指令读取数据，对于超长数据并行发送多个SCSI指令，充分利用磁盘请求队列优化读取速度。

2.3垃圾收集

目前市面上的SMR磁盘每个分区大小相等，都是256MB。要恢复一个区的数据，需要先读取有效数据，然后写入一个空空闲区，最后更新元数据。整个过程可能需要几秒钟。对于SMR磁盘来说，垃圾收集算法的合理与否严重影响系统性能的稳定性，一边写数据一边垃圾收集会带来响应延迟，影响业务和用户体验。GC会导致写放大。合理选择GC区可以减少移动数据总量，提高系统性能，降低能耗。

底层系统很难确定哪些数据是冷的，哪些是热的。一般来说，写的时间越长，数据被删除的可能性越小。上层业务可以知道一些记录的生命周期。在对象的存储中，用户可以为Bucket(容器或桶)用户设置生命周期，到期后删除，并记录系统日志。过期数据会定期删除，尽量避免垃圾回收。存储在对象中的存档数据至少会被用户保留一定的时间，删除的可能性很小，所以首选GC。KVDisker将这些具有相同生命周期的数据写入同一区域，合理区分冷热数据。

KVDisker设计了一种动态选择回收区域的机制。根据系统的繁忙程度和容量使用情况，决定是否执行GC以及并发GC的数量。根据区域中数据的最后写入时间和有效数据比率选择回收的区域。GC移动的数据会根据写入时间或生命周期写入不同的区域，这样就可以将冷热数据分开。KVDisker的GC算法大大减少了GC移动的数据量和对业务的影响。

2.4下盘速度

增加磁盘容量后，如果磁盘在脱机过程中再次损坏，数据可能会丢失。下载OOS时，整个集群的磁盘都参与数据重建，加上KVDisker的快速遍历速度，磁盘离线速度明显提升。在某些测试环境下，速度至少可以提高50%。

2.5可靠性

KVDisker的设计充分考虑了数据安全性的验证。KVDisker设计用于检查数据、索引和日志，读取时可以及时发现任何错误。

由于磁盘的物理特性，某些扇区可能看起来不可读。如果不能及时找到并修复相应的记录，很可能会发生数据丢失。KVDisker根据数据存储位置设计了索引。通过遍历位置索引，利用磁盘顺序读取速度快的特点，顺序检查磁盘数据的完整性，及时发现错误记录。

KVDisker设计了修复回调接口，通过回调通知上层应用及时修复审计和读取失败的数据。通过坏块修复功能，可以显著减少换盘频率，降低系统负载和工作量。

KVDisker的 *** 作是原子性的，不会有一些关键或值数据的残留。这一优于常用文件系统的特性，在处理数据冲突时无需任何加锁行为就能保证数据的一致性，既简化了编程，又提高了并行处理效率。

3.Kvdisker的应用场景

场景一:视频监控产生的数据量巨大，需要大量的存储空空间，数据会定期删除。

应用场景二:云盘和归档数据之间需要的空空间大，删除频率低。

当需要定期删除大量数据或删除率较低时，非常适合SMR磁盘。SMR磁盘可以使用更少的服务器、更少的机架空和更少的能耗。

2017年，中国电信在部分省份率先部署基于主机托管(非设备托管)SMR磁盘的云存储集群，并配合KVDisker使用。采用的8TBSMR磁盘与6TB普通磁盘物理材质基本相同，使用8TSMR磁盘可以减少33%的服务器数量。6T盘的功耗和8T盘基本持平，同样可以节省33%左右的能耗。在KVDisker的支持下，基于主机托管SMR的OOS到目前为止运行得非常好，已经进入大规模商用阶段。

目前，一些主流磁盘供应商已经发布了基于氦的14TSMR磁盘。由于氦气的密度只有空气体的1/7，更小的风阻大大降低了磁盘旋转的功耗，同时磁盘之间可以靠得更近，以增加单个磁盘的容量，减少对房间空的占用，降低能耗。对比业内一般的8T盘，8T盘和14T盘的功耗基本相当。如图3所示，使用14TSMR磁盘可以节省大约40%的机架数量空，降低43%的功耗。

图3。8T普通盘和14TSMR盘的比较

在可预见的预期中，SMR技术距离大规模应用还有很长的路要走。中国电信天翼云OOS产品将致力于为用户提供最好的服务，以技术创新助力存储技术的未来发展。