怎么将一堆高性能电脑硬件组成超级计算机？

今天咱们来看看天河2号超级计算机怎么搭出来的。

天河二号由国防科技大学和浪潮合作研制，2013年至2014年蝉联全球超级计算机第一名。不过性能是拿钱堆出来的，造价25亿人民币，一天满负荷运转要耗电费40万元。看看下面的配置就知道为什么花这么多钱了。从这么多CPU看得出来，CPU厂商是多么喜欢超级计算机。不过美国政府对中国禁运高端CPU之后，Intel的销售估计都要哭死了。

怎么从一个个芯片组装成一台超级计算机？看下图。16000个计算节点，其实就是主板，汇集成32个Frame，再组成4个Rack，最后组成了超算系统。

超级计算机的基础节点包括三种：16000个计算节点，4096个管理节点，256个IO节点和64个存储服务器。

先看看最小的组件：计算节点。2 个Intel Ivy Bridge CPU + 3个 Intel Xeon Phi 。CPU之间用QPI总线互联，一般NUMA架构是这么做的。每个CPU有自己的DIMM内存，一共64GB。还通过PCIex16连到内部高速互联网络，GDDR5内存。GDDR5内存有一个专门的CPU管理。两个万兆网卡估计是管理用的。这样一个节点计算性能最高可以到3432Tflops，

计算节点物理上坐落于计算刀片服务器。如下图，蓝色的是Xeon Phi处理器，黑色的估计就是Ivy Bridge CPU，所以一个刀片服务器包含了两个节点。

再来看看用国产飞腾CPU搭建的管理节点，性能是144GFlops。飞腾CPU是国防科大研制的，目前有几种型号，天河2号采用的FT-1500基于 Sparc V9架构。为了便于商业化推广，飞腾还推出了兼容ARM64位指令集的FT-1500A系列。FT-1500A目前包括4核和16核两款产品。其中4核处理器芯片主要面向桌面终端和轻量级服务器应用领域，面向服务器应用领域的是16核处理器芯片。据称，FT-1500A系列处理器与Intel 2010年的处理器性能相当 。

来看看这颗基于Sparc架构的FT-1500架构。采用40nm工艺，18GHz，16核，功耗约65瓦。计算架构采用了SIMD（Single Instruction Multiple Data），一条指令可以同步让多组数据执行。如下图，一个CPU有四个DDR3接口，IO带宽很高。

天河2号有256个IO节点和64个存储服务器，总共存储容量124PB。既然是超级计算机，自然要使用高性能的固态硬盘SSD，每个IO节点有2TB的SSD，IO带宽达到5GB/s，从下图可以看出1个2TB SSD由5个400GB 小SSD组成，那估计每个的带宽是1GB/s。IO节点对外有两种接口：高速互联接口和Infiniband QDR存储网络接口。阿呆猜想高速互联网络是用来输出数据给计算节点，IB接口是IO节点之间数据共享用的。采用了Hybrid hierarchy file system，H2FS，数据保存在每个节点本地，但是相互之间也能共享。

这么多节点怎么组成超级计算机呢？下面就是组网图。关键的设备是中间的13个交换机，每个交换机有576个端口！

更加难能可贵的是，高速互联芯片都是纯国产。包括网络路由芯片NRC和网络接口芯片NIC。

NRC采用90nm工艺，大小为1716mm1716mm，2577个管脚，带宽为256 Tbps。这么多管脚估计也是为了增加端口数。

NIC也是90nm工艺，大小1075mm1076mm，675个管脚。

说到超算，就不得不提制冷系统，这么一台庞大的机器，没有有效的制冷，估计就着火了。天河2号采用了紧耦合水冷系统，整台机器功耗176MW，加上制冷系统就是24MW。制冷用了27%的电。

天河有自己的软件架构，如下图。对用户来说，最重要的是用户的编程接口，有些用户为了搞个研究，写这个程序就得花上几年。很多时候政府推动的项目硬件给很多经费，设备都很不错，但是领导舍不得给软件投钱，毕竟展示效果没那么壮观，所以软件往往是短板，用户使用不便，先进设备的利用率就不高。

天河支持下列编程语言。值得一提的是OpenMC语言，比CUDA和OpenCL的抽象级别更高，在CPU等各种资源之上有一个统一的逻辑层。各种计算任务异步执行，同时分配到不同的设备上。

对管理者来说，这么多节点的资源调度和监控也是很重要的。如下图，每台机器安装了国产麒麟Linux *** 作系统，其实也是国防科大主导的。

我们搞存储的最关心的就是存储软件架构了。数据分为本地存储和共享存储，共享存储使用了超算流行的Lustre分布式文件系统，这种文件系统对于大文件访问性能不错。用户使用POSIX接口读写文件。不过数据密集型应用用Layout接口和Policy接口访问数据。

总结一下，一台超级计算机其实就是很多小计算机的集合，当然难点在大家的高速互联和同步。

不行的，18T氦气盘不是移动硬盘，不支持USB接口所以不能直接插在电脑上使用。18T氦气盘是将整个硬盘盖是被焊接到硬盘外壳之上的。
氦气盘是普通机械硬盘的“进化版”，其工作空间密闭且充满氦气，读写稳定，数据更安全。西部数据公司（WD）是第一家推出充氦硬盘的公司，主要用在10T级别的大容量产品上。后来其他公司也逐步跟进，目前市场上来看，大容量硬盘（大于6T）都是氦气硬盘了。
机械硬盘的内部结构主要是磁头和盘片，一组读写磁头中间夹着高速运转的磁碟。普通的家用硬盘5400转/分钟起步，大容量的服务器硬盘每分钟的转速能达到12000转，磁碟边缘每秒运转速度约50米，如果还是在空气中工作，高速组件会面临空气湍流，发热等问题。在氦气中工作，低密度的氦气就会有效地克服这些问题。而且密闭的空间杜绝了灰尘、微粒，提升了对盘片磁头的工作寿命。

---