机房多少万亿次怎么算出来的？

举个栗子：
34台机群计算节点的理论峰值计算公式及结果为：
27GHz(主频) x8(浮点执行单元又叫墙钟，是每核心每秒钟处理的指令集数量) x 24(每服务器拥有的CPU核数)x34（服务器台数） = 176256Gflops= 176256Tflops=176256万亿次
还有啥不明白的

今天咱们来看看天河2号超级计算机怎么搭出来的。

天河二号由国防科技大学和浪潮合作研制，2013年至2014年蝉联全球超级计算机第一名。不过性能是拿钱堆出来的，造价25亿人民币，一天满负荷运转要耗电费40万元。看看下面的配置就知道为什么花这么多钱了。从这么多CPU看得出来，CPU厂商是多么喜欢超级计算机。不过美国政府对中国禁运高端CPU之后，Intel的销售估计都要哭死了。

怎么从一个个芯片组装成一台超级计算机？看下图。16000个计算节点，其实就是主板，汇集成32个Frame，再组成4个Rack，最后组成了超算系统。

超级计算机的基础节点包括三种：16000个计算节点，4096个管理节点，256个IO节点和64个存储服务器。

先看看最小的组件：计算节点。2 个Intel Ivy Bridge CPU + 3个 Intel Xeon Phi 。CPU之间用QPI总线互联，一般NUMA架构是这么做的。每个CPU有自己的DIMM内存，一共64GB。还通过PCIex16连到内部高速互联网络，GDDR5内存。GDDR5内存有一个专门的CPU管理。两个万兆网卡估计是管理用的。这样一个节点计算性能最高可以到3432Tflops，

计算节点物理上坐落于计算刀片服务器。如下图，蓝色的是Xeon Phi处理器，黑色的估计就是Ivy Bridge CPU，所以一个刀片服务器包含了两个节点。

再来看看用国产飞腾CPU搭建的管理节点，性能是144GFlops。飞腾CPU是国防科大研制的，目前有几种型号，天河2号采用的FT-1500基于 Sparc V9架构。为了便于商业化推广，飞腾还推出了兼容ARM64位指令集的FT-1500A系列。FT-1500A目前包括4核和16核两款产品。其中4核处理器芯片主要面向桌面终端和轻量级服务器应用领域，面向服务器应用领域的是16核处理器芯片。据称，FT-1500A系列处理器与Intel 2010年的处理器性能相当 。

来看看这颗基于Sparc架构的FT-1500架构。采用40nm工艺，18GHz，16核，功耗约65瓦。计算架构采用了SIMD（Single Instruction Multiple Data），一条指令可以同步让多组数据执行。如下图，一个CPU有四个DDR3接口，IO带宽很高。

天河2号有256个IO节点和64个存储服务器，总共存储容量124PB。既然是超级计算机，自然要使用高性能的固态硬盘SSD，每个IO节点有2TB的SSD，IO带宽达到5GB/s，从下图可以看出1个2TB SSD由5个400GB 小SSD组成，那估计每个的带宽是1GB/s。IO节点对外有两种接口：高速互联接口和Infiniband QDR存储网络接口。阿呆猜想高速互联网络是用来输出数据给计算节点，IB接口是IO节点之间数据共享用的。采用了Hybrid hierarchy file system，H2FS，数据保存在每个节点本地，但是相互之间也能共享。

这么多节点怎么组成超级计算机呢？下面就是组网图。关键的设备是中间的13个交换机，每个交换机有576个端口！

更加难能可贵的是，高速互联芯片都是纯国产。包括网络路由芯片NRC和网络接口芯片NIC。

NRC采用90nm工艺，大小为1716mm1716mm，2577个管脚，带宽为256 Tbps。这么多管脚估计也是为了增加端口数。

NIC也是90nm工艺，大小1075mm1076mm，675个管脚。

说到超算，就不得不提制冷系统，这么一台庞大的机器，没有有效的制冷，估计就着火了。天河2号采用了紧耦合水冷系统，整台机器功耗176MW，加上制冷系统就是24MW。制冷用了27%的电。

天河有自己的软件架构，如下图。对用户来说，最重要的是用户的编程接口，有些用户为了搞个研究，写这个程序就得花上几年。很多时候政府推动的项目硬件给很多经费，设备都很不错，但是领导舍不得给软件投钱，毕竟展示效果没那么壮观，所以软件往往是短板，用户使用不便，先进设备的利用率就不高。

天河支持下列编程语言。值得一提的是OpenMC语言，比CUDA和OpenCL的抽象级别更高，在CPU等各种资源之上有一个统一的逻辑层。各种计算任务异步执行，同时分配到不同的设备上。

对管理者来说，这么多节点的资源调度和监控也是很重要的。如下图，每台机器安装了国产麒麟Linux *** 作系统，其实也是国防科大主导的。

我们搞存储的最关心的就是存储软件架构了。数据分为本地存储和共享存储，共享存储使用了超算流行的Lustre分布式文件系统，这种文件系统对于大文件访问性能不错。用户使用POSIX接口读写文件。不过数据密集型应用用Layout接口和Policy接口访问数据。

总结一下，一台超级计算机其实就是很多小计算机的集合，当然难点在大家的高速互联和同步。

指令集：RISC，自主指令集
核心数量：单核心
架构：Alpha CPU型号：SW-2
CPU频率：1400MHz
制造工艺：130nm
指令集：RISC，自主指令集
核心数量：双核心
架构：Alpha CPU型号：SW1600
CPU频率：1600MHz
制造工艺：65nm
指令集：RISC，自主指令集
核心数量：16
数据位宽：64位
架构：Alpha
集成DDR3存储控制器和标准I/O接口
其中，SW1600处理器是江南计算所研制申威系列的第三代处理器，拥有16个RISC处理核，浮点高达140GFLOPS。是高性能服务器和存储技术与江南计算所合作的国家重点实验室项目，中华人民共和国自主知识产权，并且，SW1600已经运用到神威蓝光(Sunway BlueLight MPP)超级计算机上，是中华人民共和国公开面世的首台全采用自主研发生产处理器，达到每秒千万亿次浮点的超级计算机，2011年9月安装于国家超算济南中心。神威蓝光由国家并行计算机工程技术研究中心制造，获得科技部863计划支持，系统采用8704个SW1600处理器，峰值计算能力107016PFLOPS，持续计算速度7959TFLOPS，LINPACK效率达到7437%，总功耗只有1074KW。

---