三星在大数据时代下的存储技术革新

三星在大数据时代下的存储技术革新,第1张

我们已经进入5G时代,将会是互联互通的时代,以前4G时代只有很少的一部分设备,比如说我们的个人电脑、手机、平板这些连接在一起,进入5G时代会有越来越多的其他设备连接在一起,成为万物互通时代,数据呈爆炸式增长。同时对存储挑战越来越高,为此为了迎接5G时代到来,数据和存储的重要性将会得到日益增长和提高。

从我们的观点出发,过去以CPU为中心的时代,从现在开始已经进入数据为中心的时代,带来的影响不仅仅是当前的手机和电脑,还带来了飞速增长的数据,同时依赖于大数据机器学习无人驾驶,也呈现爆炸式的数据增长,在这样的要求下必然会带来我们存储行业的蓬勃发展,从我们这几年被反复提到的半导体行业的“超级周期”,正是这种趋势的体现。

除了大数据蓬勃发展之外,我们当下最流行的热点就是机器学习和人工智能,我们从各种渠道已经了解到,机器学习在很多方面已经超越了人类的能力,在这一方面我们三星的存储拥有从SSD到其他各种类型的设备,在这种大的社会变革下,我们期待用我们各种存储产品迎接划时代的变化。

首先还是立足于我们对数据的变化和趋势,当前我们已经处于大数据时代,数据随时随地都在产生,而且需要实时在数据中心进行处理。对实时分析、实时处理,并且继续学习必然会带来对存储业务的挑战和增长,所以我们对云时代的理解是越来越多的设备通过云,通过互联网连接到云,然后经过云连接到的我们设备互联互通、沟通一体。

在这种情况下被云连接的各种设备产生了大量的数据,这样的话对我们现有的云基础设施也必然引发了巨大改变。所以针对这样的发展,对我们对三星下一代的存储产品提出了三个核心要素,首先是低延迟、高带宽、大容量。接下来我会针对这三个核心要素逐一展开介绍全线产品。

为了满足不同场景下日益增长的需求,我们从单一的SSD产品现在已经构建了从Z-SSD到QLC SSD的全方位产品线,除了SSD产品之外,当下最流行的是存储级内存(SCM),我们也通过标准化构建和生态系统构建等等活动在打造我们SCM产品,目前SCM产品已经通过标准化认证。

Z-SSD是我们针对数据实时分析和高性能应用开发的一款产品,Z-SSD同时具有低延迟和高带宽特性,我们可以看到相对于传统读取的延迟降低,Z-SSD并不是采用全新的存储介质,是使用了我们成熟的闪存技术,除了提高闪存技术的性能以外,通过优化闪存控制器性能进一步提高Z-SSD的整体性能。

从业界收集到的Z-SSD反馈,比如说从服务器提供商和云服务商收到的反馈来说,他们普遍持正向反馈,这种低延迟的特性满足了很多场景下的需求。另外我们还可以看到从国外的技术媒体收集到,在我们的Z-SSD出现低延迟方面已经接近友商竞品的性能,他们普遍对我们创新产品的出现持欢迎态度。

高带宽、高容量的产品,以PCIe Gen4作为例子,PM1733最大容量支持32TB,以32TB来代替两个机柜万转硬盘的服务器,可以看到原有需要两个机柜的存储设备,现在只需要两个服务器代替,这样的好处是在数据中心使用情况下大大节约了空间的占用和资源的消耗,同时我们的设计至少提高2倍以上性能,同时我们在4U对比2U服务器的时候,性能呈现成倍的增长。

QLC主要是针对以读取为主要应用场景的一些应用,比如说存档的视频、邮件、笔记,包括社交视频网站访问次数的照片和视频,这样一些场景非常适合QLC,主要还是以读写为主的应用场景。QLC主要用于代替万转企业级磁盘,相对于万转的磁盘,我们的QLC SSD主要优点是在全生命周期TCO的产品相当于万转磁盘的1/3,这样从成本角度来讲提供非常有竞争力的选择,我们期待QLC SSD在万转的磁盘市场能迅速的展开。

我们使用NF1 SSD构建一个系统,比如使用16TB的NF1 SSD的话,1U的服务器可以达到576TB,2U的服务器可以扩展到1.15PB,当然,因为是支持向上扩展,所以性能也是2U比1U快两倍达到两千万IOPS,以上都很容易可以构建PB级的系统。

随着互联网的兴起,我们对传统数据库的要求,需要它具有高并发,同时需要易扩展的特性,在这种情况下我们知道传统数据库效率越来越差,在这种情况下,越来越多的厂商把目光转向了KV(Key Value)数据库,同时我们也看到了在传统存储上部署KV数据库面临的一些问题。

我们发现需要经过文件系统,块设备再转到SSD内部,还要再经过逻辑地址、物理地址的映射,这种层层数据映射带来系统资源的消耗,随着SSD速度的越来越高,这种消耗越来越多的时候变成了系统的瓶颈,针对这种情况三星推出了一款新的SSD——KV SSD,我们采取的办法是把一部分KV的引擎内置在KV SSD中,同时提供一些KV接口,这样的话可以直接享用应用程序的KV请求。这样大大减少了数据调用的流程,提高了数据访问的速度,节约了资源。当然这种虽然极大提高了系统性能,但大家可以看到对传统存储架构有非常大的改变,需要我们随着新产品构建一种全新的软件生态,这一部分在后面可能会详细展开。

下一步结合实例展示一下我们KV SSD革命性变化。首先我们选择了现在国内主流的KV存储引擎。测试和比较下来结果可以看到,延迟降低了7.6倍以上,IOPS提高了7.7倍,变化是非常巨大的。同时选择了国内主流的分布式存储,同样可以看到带宽提升了4.8倍,IOPS至少提升2倍以上。所以目前这些工作正和客户在密切开展,希望有更多了解的会有更多介绍详细了解。

尤其值得一提地是OpenMPDK这个软件组件是西安团队开发,我们主页已经可以搜索到,如果大家希望了解并加入进来可以到主页访问,欢迎大家的参与,共同推动这种存储结构的革命性改变。最后是关于针对当前的数据库的设计,我们强调多样性和灵活的配置,三星目前持开放态度,欢迎各种用户厂商针对他们的特定场景来合作开发针对性的SSD优化和解决方案,这是我们对共建中国存储的生态系统的一种期望。

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/dianzi/2565528.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-08-07
下一篇 2022-08-07

发表评论

登录后才能评论

评论列表(0条)

保存