建立数据分析平台花费有多大？NASA气候模拟中心告诉你

中国太空天团又添新成员

不久前"祝融号"成功着陆火星

并开始巡视探测

立下中国航天又一里程碑

从嫦娥、玉兔、悟空再到祝融

这些寄予着国人

太空梦的大国重器

指引着人类对

神秘宇宙的持续 探索

提到 探索 宇宙，先后执行了水星计划、阿波罗计划、国际空间站等研究任务的美国国家航空航天局(NASA)可谓鼎鼎有名。

其实，除了空间科学，地球学研究也在NASA的研究领域之内。位于马里兰州格林贝尔特的戈达德航空飞行中心(NASA-GSFC)，就拥有一支庞大的地球科学家队伍。

这些科学家研究天气和气候现象，时间跨度极大，从几天到几个世纪不等，他们需要分析 历史 天气和气候数据，并预测未来几十年的气候变化。

为了满足气候研究中存在的数据存储和计算需求，NASA专门设立了气候模拟中心(NCCS)。其内部运营着强大的超级计算资源库，这些资源包括一个庞大且不断发展的高性能计算系统——Discover，它拥有大约90个机架和90000个内核。

"一箭双雕"

组建高级数据分析平台

考虑到Discover被设计用来支持大规模的模拟，无法对高性能计算与大数据相结合的应用进行优化，NCCS又推出了高级数据分析平台(Advanced Data Analytics PlaTform，ADAPT)。

该平台是一个在私有云中结合HPC和虚拟化技术的系统，被用于进行大规模的数据分析。这种以数据为中心的虚拟系统方法，大大降低了用户访问HPC解决方案的障碍和风险。

看到这里，你会不会觉得NCCS"财大气粗"，直接新建平台，大手一挥说干就干

重点来了，ADAPT最亮眼的地方就在于，它实现了IT资源的循环利用。平台由退役的HPC部件建造，而这些部件正是来自于Discover升级后的旧设备。

这些被重新利用的设备包括数百台戴尔易安信PowerEdge C6100服务器，它们为ADAPT提供了大部分的计算节点。

戴尔易安信PowerEdge服务器搭载英特尔 至强 系列可扩展处理器，在核心、缓存、内存以及I/O方面进行了大量优化，使得其在整体性能上有了极大的提升，可满足多种工作负载需求。

NCCS的做法很聪明，可谓是"一箭双雕"。

一方面，这种处理方式对环境非常友好。在绿色环保已成为全球趋势的大背景下，妥善处理旧HPC设备，为IT产品的再利用进行了积极正向的示范。

另一方面，这种行为盘活了现有资源，利用旧设备组建的ADAPT切实解决了中心对数据分析的需求，同时没有产生较大的成本开支。

仔细观察，我们会发现，ADAPT当前表现为一个类似于平台即服务(PaaS)云的托管虚拟机(VM)环境。

它最重要的特点是通过存储、计算、网络和云计算能力的架构组合，实现大规模数据分析。这使科学家能够快速创建分析应用程序，将其移植到一个非常大的资源上，并能够访问庞大的模型和观测数据集。

在该资源的中心是一个大型的并行文件系统，拥有大约8PB的配置存储。围绕着存储的是一朵高性能计算资源云，它有许多处理核心和大内存，并借助InfiniBand网络与存储相连。

通过使用单根输入/输出虚拟化(SR-IOV)等技术，ADAPT可以在计算资源上配置虚拟系统，与存储和其他虚拟系统进行高速的网络连接。

为ADAPT提供了大部分计算节点的戴尔易安信PowerEdge C6100，具有容量大、性能强和灵活度高等优点，并且采用高密度封装。其高效的2U机架式机箱最多可支持12个35英寸或24个25英寸热插拔SAS、SATA或固态硬盘。

即便是退役后再上岗，PowerEdge服务器依旧"能打"，能实现单节点可维护性以及热插拔硬盘灵活性，为数据密集型科学应用程序提供坚实的基础架构。

在PowerEdge服务器的强力"助攻"下，ADAPT使科学家们能够随时访问大量数据集和强大的计算资源，并获得了HPCwire读者选择奖——最佳数据密集型系统(以终端用户为中心)。

软硬件服务兼具

提供HPC一站式解决方案

不仅是科学研究领域需要HPC，经过近些年高性能计算机器周边生态的快速发展，高性能计算逐渐成为一种"飞入寻常百姓家"的实用技术，在基因工程、生物制药、能源、金融等领域有着广泛的应用需求。

戴尔 科技 深耕高性能计算领域多年，从高性能计算的计算能力、网络能力、存储能力等多方面布局，能为多个垂直行业提供高性能、高IO、易用、易于扩展且服务周全的HPC方案，帮助客户更快速、更经济地部署HPC系统。

01在高性能服务器方面

戴尔易安信PowerEdge服务器提供可扩展的企业体系结构、智能的自动化和集成的安全性，其机架式、塔式和模块化服务器基础架构产品组合可以帮助用户快速地从数据中心向云端扩展。

不久前，戴尔 科技 发布了新一代戴尔易安信PowerEdge服务器产品。新款PowerEdge服务器采用了PCIe Gen 40，吞吐性能是上一代产品的两倍，每台服务器最多配有六个加速，可提供给客户最关键负载和应用所需的计算能力。

这17款新服务器涵盖传统机架式服务器、2U4节点C系列、模块化服务器，此外还有专用的GPU优化服务器、 专用的边缘和电信服务器等。

比如说，采用了GPU加速优化的PowerEdge R750xa，就是一款理想的高性能计算服务器，它能够为机器学习训练、推理和人工智能提供GPU密集型性能。这款双插槽2U服务器采用第三代英特尔 至强 可扩展处理器，最多支持4个双宽GPU和6个单宽GPU。

新款戴尔易安信PowerEdge R750的表现也令人眼前一亮。凭借强大的性能表现、出色的散热设计，以及卓越的软件功能，它刚刚获得专业评测机构StorageReview授予的"2021年编辑选择奖"。

该款服务器充分利用了最新第三代英特尔 至强 可扩展处理器的优势，包括对PCIe Gen4的支持，其吞吐性能是Gen3的两倍，专为最严苛工作负载而设计。

02在高性能网络方面

针对企业级和科研院所在部署高性能计算过程中对网络的需求特点，戴尔 科技 提供基于英特尔Omni-Path架构的高性能网络，此外还提供Mellanox EDR InfiniBand架构的100Gb高速低延迟网络。

03在高性能存储方面

戴尔 科技 提供了多种存储方案，既保证性能/容量要求，又提供更多功能选择供未来扩展业务应用。对于想要存储非结构化数据的用户来说，戴尔易安信PowerScale是一个很好的选择。

它安装简单、扩展容易、即插即用，支持包括Hadoop文件格式、S3对象文件格式、Windows文件格式等多种格式，便于HPC对数据进行存储、分析、处理和展现。

同时，PowerScale系统运行OneFS *** 作系统，内置了对Kubernetes的支持，可以帮助用户管理容器工作负载，并提供了在多云环境中管理数据的工具DataIQ。其线性扩展性能和容量，满足高性能文件存储的需求;重复删除和压缩计算，也提高了边缘端存储资源使用效率。

除了硬件产品，HPC还需要大量软件和服务的支持。戴尔 科技 拥有"适用于HPC的ProSupport附加服务"，提供了比ProSupport及ProSupportPlus基于设备本身售后服务更高级别的支持。

同时，戴尔易安信也提供基于HPC的Dell EMC Ready解决方案，简化并缩短了设计和配置为实时执行计算密集型任务而构建的HPC系统所需的时间。

高性能计算是计算领域的皇冠，未来HPC将更紧密地同大数据、人工智能、云计算等进行结合。作为首家提供HPC打包的方案厂商，戴尔 科技 在HPC领域不断创新。用户通过戴尔 科技 可以利用业界最新的HPC产品和技术，在竞争日益激烈的数字化世界中获得竞争优势。

虚拟化在HPC领域基本上很少用到，这里所讲的虚拟化主要是指我们常见到的基于x86架构的虚拟化，但是在IBM小型机以上的服务器的虚拟化技术，在大型的HPC中，还是有一定应用的。单就国内服务器厂家而言，没有在HPC上运用虚拟化技术的。
存储虚拟化技术作为一项补充技术，在HPC方面有一定的应用，但不是核心应用。

Microsoft Windows HPC Server 2008（HPCS），下一代高性能计算（HPC），为具有高度生产力的HPC环境提供了企业级的工具、性能和扩展性。HPCS提供了完整而集成的集群环境，包括 *** 作系统、作业调度、消息传递接口v2（Message Passing Interface v2，MPI2）支持、集群管理和监控组件。以Windows Server 2008 64位技术为基础，HPCS能够有效扩展到数千个处理内核，并提供管理控制台，用于主动监控和维护系统健康与稳定。作业调度的互 *** 作性和灵活性能够实现Windows和Linux的HPC平台之间的集成，并支持批量和面向服务架构（SOA）的工作。增强的生产力，可扩展的性能，以及易用性，使得Windows HPC Server 2008成为Windows环境同类产品中的最佳产品。Windows HPC Server 2008的高性能计算（HPC）通过先进的工具来监测和管理大型集群。Windows HPC Server 2008（HPCS）结合了Windows服务器平台和丰富的现成功能所带来的优势，并帮助提高生产力和降低高性能计算环境的复杂性。Windows HPC Server 2008可以有效地扩展到几千个处理器内核，并提供一套全面的部署、管理和监测工具使其易于部署、管理，并与您现有的基础设施集成。Windows HPC Server 2008能够通过更轻松的部署和管理，帮助用户缩短实现HPC工作的时间。通过使用现有的Windows信息技术（IT）架构，HPCS简化了集群的管理、安全和存储，并提供桌面上的无缝访问。
HPCS采用Windows Server 2008的Windows部署服务（Windows Deployment Services）技术，提供了改进的部署，更加快速的微软消息传递接口（Microsoft Message Passing Interface，MS-MPI）提供了新的NetworkDirect支持，先进的作业调度和基于Microsoft System Center 2007用户界面（UI）的新管理接口，能支持Windows PowerShell尡为首选的脚本接口。

很短的黄黑混合的细线。思腾合力（SITONHOLY）是AI服务器与HPC基础架构解决方案商，它的gpu服务器有一个显卡电源线，它的外观是很短的黄黑混合的细线，在运行过程中是非常重要的。

---