高能物理数据处理系统的自主可控终于实现！

高能物理数据处理系统的自主可控终于实现！

点击上方蓝字关注我们

高能物理数据处理系统的自主可控终于实现！

基于国产处理器的高能物理数据处理系统实现了大规模的软件运行。面向高能物理数据处理的可计算存储技术方案，有效地解决了计算过程中因数据搬运带来的I/O瓶颈问题。

中国科学院高能物理研究所的程耀东研究员所在团队提出了基于国产处理器的高能物理数据处理系统和面向高能物理数据处理的可计算存储技术方案，并在基于国产处理器架构的典型应用上进行了评测。该技术成果具有很好的可行性和可推广性。其中，基于国产处理架构的高能物理数据处理系统运行正确，多核架构的整机性能突出；可计算存储技术方案能够有效地利用存储节点的硬件能力，把计算任务卸载到存储节点，避免数据多次搬运，实现了绿色节能、运算高效的数据处理模式。该研究以“基于国产处理器架构的高能物理数据处理系统”为题发表在《大数据》2021年第5期。

01

为什么要构建高能物理数据处理系统？

随着装置复杂度的不断增加和规模的不断扩大，高能物理实验产生的实验数据越来越多，海量数据处理在计算规模、计算精度、即时性等方面的需求也越来越高，给传统计算体系架构带来前所未有的挑战：（1）系统软件目前大部分运行在x86架构上，在这种计算与存储分离的架构中存在数据的大量搬运问题；（2）频繁的数据搬运导致的算力瓶颈以及功耗瓶颈已经成为高能物理数据处理系统对更先进算法进行探索的限制因素；（3）向量化的使用日益广泛，然而许多向量化库专用于x86架构，不支持其他架构。因此，高能物理领域亟需一种新的解决方案。

02

具有哪些优势？

针对上述问题，程耀东研究员所在团队提出并实现了基于国产处理器的高能物理数据处理系统和面向高能物理数据处理的可计算存储技术方案，其系统架构分别如图1、图2所示。

图1 基于国产处理器的高能物理数据处理系统架构

图2 面向高能物理数据处理的可计算存储技术架构

基于国产处理器的高能物理数据处理系统中集成了申威处理器等服务器和“神威·太湖之光”等超级计算机，ROOT 6.20、GEANT4 10.6、EOS 4.7.7被移植到华为鲲鹏920处理器及CentOS 7.6上，并被部署到高能物理计算平台上供用户使用。在HEP-SPEC06基准测试、LHAASO事例重建测试和LQCD应用测试中，ARM CPU拥有更多的核心数和较高的内存访问带宽，使得整机的计算性能提高了2倍以上，并且ARM CPU的利用率是x86 CPU的2倍，能够满足高能物理数据处理的需求。

可计算存储技术方案把ROOT移植到ARM CPU上运行，并通过修改ROOT代码，实现了调用华为鲲鹏硬件压缩的能力，从而大幅提升ROOT数据压缩写入和读取性能，大大节省数据传输时间，提高数据分析效率。在LHAASO KM2A decode测试和基于ARM SOC的压缩测试中，可计算存储模式下的并发程序和解码程序的执行时间分别减少了79%和30%以上，计算效率得到显著提高。

更多技术细节请阅读原文：http://www.infocomm-journal.com/bdr/CN/10.11959/j.issn.2096-0271.2021046

联系我们:

Tel:010-81055448

       010-81055490

       010-81055534

E-mail:bdr@bjxintong.com.cn 

http://www.infocomm-journal.com/bdr

http://www.j-bigdataresearch.com.cn/

转载、合作：010-81055537

大数据期刊

《大数据（Big Data Research，BDR）》双月刊是由中华人民共和国工业和信息化部主管，人民邮电出版社主办，中国计算机学会大数据专家委员会学术指导，北京信通传媒有限责任公司出版的期刊，已成功入选中国科技核心期刊、中国计算机学会会刊、中国计算机学会推荐中文科技期刊，并被评为2018年、2019年国家哲学社会科学文献中心学术期刊数据库“综合性人文社会科学”学科最受欢迎期刊。

关注《大数据》期刊微信公众号，获取更多内容