石油勘探普遍应用的地震波反射法,每次三维测量会产生几百TB乃至PB级的数据。东方物探基于浪潮软件定义存储AS13000,构建了34节点、4PB石油勘探海量存储集群,单节点业务带宽超过1GB(读带宽1.2GB/s,写带宽1.5GB/s),聚合带宽达到34GB/s,实测性能提升了7倍,满足东方物探海量数据的存储、处理需求。
中国石油集团东方地球物理勘探有限责任公司(以下简称“东方物探”)是中国石油天然气集团公司的全资子公司,也是中国石油勘探的主力。公司主要从事国内外陆地、浅海地震勘探,以及综合物化探采集、处理、解释等业务,目前业务已经发展至全球59个国家、200余家油气公司,营业收入连续两年保持全球物探行业第一。而作为新数据时代的存储专家,浪潮通过软件定义存储(Software-Defined Storage,以下简称SDS)方案,给东方物探构建了4PB容量、34GB带宽的石油勘探存储集群,提升了海量数据“存”和“用”能力。
石油勘探 PB级数据是常态
当前石油储备逐步减少,石油勘探、开发难度增大,借助数据技术提高石油勘探的效率成为推动石油行业增长的关键。存储作为数据的载体,成为东方物探这样的石油勘探企业的核心竞争力。
东方物探的石油勘探作业主要采用地震波法。这种方法是用炸药在地面激发人工地震波,地震波传入数千米的地下,碰到不同形态的岩层后形成反射波。这些反射波经过检波器收集,转变为电子信号后,以数据形态保存在存储里。后期,通过对海量地震波数据的计算、解释和反演,模拟出勘测区域的地下构造,找到石油岩层的精确位置。这就像给大地做CT一样。
一方面,在勘探过程中,生成的数据体量非常庞大。一般二维数据可达1~2TB,三维数据可达数百TB甚至PB级。从东方物探开发的中国第一套地震数据处理、解释一体化软件GeoEast来看,GeoEast系统的数据量随勘探业务开展不断增长,对存储空间初始需求就达到PB级别,项目平均数据增量达20TB,一般单文件大小也都在200GB左右。
另一方面,石油勘探对收集上来的海量数据还需要提供TB-GB级读写性能,来满足前端的密集计算和模拟,比如54TB原始勘探数据通过4000个CPU的计算集群、GB级带宽的存储集群处理需要50多天时间,方能将勘探数据转换成直观的可视画面,为油气钻井定位提供决策支持。如果要缩短地震资料处理周期,让IT基础设施提供更强大的性能,就需要优化数据存储和计算平台。计算平台可以在CPU处理的基础上通过增加GPU来进行加速;而数据存储平台,则需要进行从硬件架构到软件功能的创新。
浪潮给东方物探提供PB级海量存储集群
浪潮SDS:软硬协同创新
“(石油勘探)这种PB级容量、千万级并发性能的数据特征,对存储基础设施既是一个变革,也是一个挑战”,浪潮存储研发工程师表示,东方物探需要部署横向扩展的软件定义存储,并基于场景进行软硬件调优。经过多轮沟通,浪潮的这一方案获得了东方物探的认可。
浪潮软件定义存储AS13000
硬件方面,浪潮软件定义存储提供动车组式的横向扩展架构,就是每个节点都能提供动力,同时整体集群用一套系统进行管理。一方面,在浪潮软件定义存储的34个节点中,每个节点都可以提供上百TB的容量和GB级IO能力,存储集群间的数据通信通过2个万兆建立连接,使得整个存储集群容量达到4PB、业务网总带宽达到34GB/s。
软件方面,浪潮软件定义存储进行了大量场景化调优。比如,在使用过程中,浪潮软件定义存储通过对去躁、振幅补偿等多项作业的优化配置,提升了石油勘探批量作业的处理能力,增强了易用性,确保系统稳定运行。又如,浪潮软件定义存储提供目录分片功能,即在元数据服务端将目录分成同等地位的多个分片,由每个分片承载该目录下的不同子文件,有效提高了并发能力,解决了大目录 *** 作性能问题。AS13000可支持单目录千万级文件、文件系统可达百亿级,百万文件浏览时间突破40s。
容量达4PB,性能提升7倍
项目实施前,东方物探和浪潮存储联合,对软件定义存储进行了长达一年的产品测试,浪潮团队积极配合、快速响应,保障了东方物探石油勘探软件定义存储平台测试的顺利进行。
上线后,东方物探勘探海量存储集群使用容量达到4PB,单作业业务单控达1.5GB/s,聚合带宽达到34GB/s。通过对AS13000内核客户端的优化,在4PB大工程上实现了7倍性能的提升。
值得一提的是,浪潮软件定义存储系统的节点扩展能力非常强大,单系统存储节点可在线横向扩展至5000多个。面对地震数据性能不断增长的趋势,浪潮软件定义存储还可支持40GB/56GB InfiniBand连接,以应对未来性能升级需求。加上不断进步的数据自动修复和自动运维机制,浪潮软件定义存储能够胜任东方物探的未来的石油勘探海量数据存储场景。
东方物探表示,“中国物探企业必须拥有自己的数据核心技术。东方物探联合浪潮存储建立了亚洲最大的物探数据库,通过对地震波反射数据的采集、处理、解释,判断地表下油气的位置,挖掘数据价值。”
场景化战略 落地PB级大工程
除了东方物探的PB级实践之外,浪潮还在各个场景交付了大量PB级工程。这里包括软件定义存储AS13000在某资源中心一套70PB、某运营商数十套每套PB级系统、某省政务云90个节点、20PB容量、成都三环路视频监控系统20PB容量、广电总局141个节点、10PB的云平台、华强方特5PB、千万级小文件并发性能的动漫制作平台的应用部署。
浪潮存储产品线总经理李辉表示,“浪潮存储顺应云、大数据、人工智能潮流,经过十多年的研发,在全球建立了五大研发中心,具备领先的技术实力和场景化能力,构建了新数据时代的新存储,成为新数据时代新存储的倡导者和领先者。”如今,浪潮凭借实力,在2018年上半年在中国企业级存储市场出货量第一、增速第一;同时,入围了Gartner分布式存储魔力象限,正式进入全球主流存储厂商。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)