如何利用hadhoop构建物联网平台

常见的大数据术语表(中英对照简版)：
A
聚合(Aggregation) – 搜索、合并、显示数据的过程
算法(Algorithms) – 可以完成某种数据分析的数学公式
分析法(Analytics) – 用于发现数据的内在涵义
异常检测(Anomaly detection) –
在数据集中搜索与预期模式或行为不匹配的数据项。除了“Anomalies”,用来表示异常的词有以下几种：outliers, exceptions,
surprises, contaminants他们通常可提供关键的可执行信息
匿名化(Anonymization) – 使数据匿名，即移除所有与个人隐私相关的数据
应用(Application) – 实现某种特定功能的计算机软件
人工智能(Artificial Intelligence) –
研发智能机器和智能软件，这些智能设备能够感知周遭的环境，并根据要求作出相应的反应，甚至能自我学习
B
行为分析法(Behavioural Analytics) –
这种分析法是根据用户的行为如“怎么做”，“为什么这么做”，以及“做了什么”来得出结论，而不是仅仅针对人物和时间的一门分析学科，它着眼于数据中的人性化模式
大数据科学家(Big Data Scientist) – 能够设计大数据算法使得大数据变得有用的人
大数据创业公司(Big data startup) – 指研发最新大数据技术的新兴公司
生物测定术(Biometrics) – 根据个人的特征进行身份识别
B字节 (BB: Brontobytes) – 约等于1000 YB(Yottabytes)，相当于未来数字化宇宙的大小。1
B字节包含了27个0!
商业智能(Business Intelligence) – 是一系列理论、方法学和过程，使得数据更容易被理解
C
分类分析(Classification analysis) – 从数据中获得重要的相关性信息的系统化过程; 这类数据也被称为元数据(meta
data),是描述数据的数据
云计算(Cloud computing) – 构建在网络上的分布式计算系统，数据是存储于机房外的(即云端)
聚类分析(Clustering analysis) –
它是将相似的对象聚合在一起，每类相似的对象组合成一个聚类(也叫作簇)的过程。这种分析方法的目的在于分析数据间的差异和相似性
冷数据存储(Cold data storage) – 在低功耗服务器上存储那些几乎不被使用的旧数据。但这些数据检索起来将会很耗时
对比分析(Comparative analysis) – 在非常大的数据集中进行模式匹配时，进行一步步的对比和计算过程得到分析结果
复杂结构的数据(Complex structured data) –
由两个或多个复杂而相互关联部分组成的数据，这类数据不能简单地由结构化查询语言或工具(SQL)解析
计算机产生的数据(Computer generated data) – 如日志文件这类由计算机生成的数据
并发(Concurrency) – 同时执行多个任务或运行多个进程
相关性分析(Correlation analysis) – 是一种数据分析方法，用于分析变量之间是否存在正相关，或者负相关
客户关系管理(CRM: Customer Relationship Management) –
用于管理销售、业务过程的一种技术，大数据将影响公司的客户关系管理的策略
D
仪表板(Dashboard) – 使用算法分析数据，并将结果用图表方式显示于仪表板中
数据聚合工具(Data aggregation tools) – 将分散于众多数据源的数据转化成一个全新数据源的过程
数据分析师(Data analyst) – 从事数据分析、建模、清理、处理的专业人员
数据库(Database) – 一个以某种特定的技术来存储数据集合的仓库
数据库即服务(Database-as-a-Service) – 部署在云端的数据库，即用即付，例如亚马逊云服务(AWS: Amazon Web
Services)
数据库管理系统(DBMS: Database Management System) – 收集、存储数据，并提供数据的访问
数据中心(Data centre) – 一个实体地点，放置了用来存储数据的服务器
数据清洗(Data cleansing) – 对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性
数据管理员(Data custodian) – 负责维护数据存储所需技术环境的专业技术人员
数据道德准则(Data ethical guidelines) – 这些准则有助于组织机构使其数据透明化，保证数据的简洁、安全及隐私
数据订阅(Data feed) – 一种数据流，例如Twitter订阅和RSS
数据集市(Data marketplace) – 进行数据集买卖的在线交易场所
数据挖掘(Data mining) – 从数据集中发掘特定模式或信息的过程
数据建模(Data modelling) – 使用数据建模技术来分析数据对象，以此洞悉数据的内在涵义
数据集(Data set) – 大量数据的集合
数据虚拟化(Data virtualization) –
数据整合的过程，以此获得更多的数据信息，这个过程通常会引入其他技术，例如数据库，应用程序，文件系统，网页技术，大数据技术等等
去身份识别(De-identification) – 也称为匿名化(anonymization)，确保个人不会通过数据被识别
判别分析(Discriminant analysis) –
将数据分类;按不同的分类方式，可将数据分配到不同的群组，类别或者目录。是一种统计分析法，可以对数据中某些群组或集群的已知信息进行分析，并从中获取分类规则。
分布式文件系统(Distributed File System) – 提供简化的，高可用的方式来存储、分析、处理数据的系统
文件存贮数据库(Document Store Databases) – 又称为文档数据库(document-oriented database),
为存储、管理、恢复文档数据而专门设计的数据库，这类文档数据也称为半结构化数据
E
探索性分析(Exploratory analysis) –
在没有标准的流程或方法的情况下从数据中发掘模式。是一种发掘数据和数据集主要特性的一种方法
E字节(EB: Exabytes) – 约等于1000 PB(petabytes), 约等于1百万 GB。如今全球每天所制造的新信息量大约为1
EB
提取-转换-加载(ETL: Extract, Transform and Load) –
是一种用于数据库或者数据仓库的处理过程。即从各种不同的数据源提取(E)数据，并转换(T)成能满足业务需要的数据，最后将其加载(L)到数据库
F
故障切换(Failover) – 当系统中某个服务器发生故障时，能自动地将运行任务切换到另一个可用服务器或节点上
容错设计(Fault-tolerant design) – 一个支持容错设计的系统应该能够做到当某一部分出现故障也能继续运行
G
游戏化(Gamification) –
在其他非游戏领域中运用游戏的思维和机制，这种方法可以以一种十分友好的方式进行数据的创建和侦测，非常有效。
图形数据库(Graph Databases) –
运用图形结构(例如，一组有限的有序对，或者某种实体)来存储数据，这种图形存储结构包括边缘、属性和节点。它提供了相邻节点间的自由索引功能，也就是说，数据库中每个元素间都与其他相邻元素直接关联。
网格计算(Grid computing) – 将许多分布在不同地点的计算机连接在一起，用以处理某个特定问题，通常是通过云将计算机相连在一起。
H
Hadoop – 一个开源的分布式系统基础框架，可用于开发分布式程序，进行大数据的运算与存储。
Hadoop数据库(HBase) – 一个开源的、非关系型、分布式数据库，与Hadoop框架共同使用
HDFS – Hadoop分布式文件系统(Hadoop Distributed File
System);是一个被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统
高性能计算(HPC: High-Performance-Computing) – 使用超级计算机来解决极其复杂的计算问题
I
内存数据库(IMDB: In-memory) –
一种数据库管理系统，与普通数据库管理系统不同之处在于，它用主存来存储数据，而非硬盘。其特点在于能高速地进行数据的处理和存取。
物联网(Internet of Things) – 在普通的设备中装上传感器，使这些设备能够在任何时间任何地点与网络相连。
J
法律上的数据一致性(Juridical data compliance) –
当你使用的云计算解决方案，将你的数据存储于不同的国家或不同的大陆时，就会与这个概念扯上关系了。你需要留意这些存储在不同国家的数据是否符合当地的法律。
K
键值数据库(KeyValue Databases) –
数据的存储方式是使用一个特定的键，指向一个特定的数据记录，这种方式使得数据的查找更加方便快捷。键值数据库中所存的数据通常为编程语言中基本数据类型的数据。
L
延迟(Latency) – 表示系统时间的延迟
遗留系统(Legacy system) – 是一种旧的应用程序，或是旧的技术，或是旧的计算系统，现在已经不再支持了。
负载均衡(Load balancing) – 将工作量分配到多台电脑或服务器上，以获得最优结果和最大的系统利用率。
位置信息(Location data) – GPS信息，即地理位置信息。
日志文件(Log file) – 由计算机系统自动生成的文件，记录系统的运行过程。
M
M2M数据(Machine2Machine data) – 两台或多台机器间交流与传输的内容
机器数据(Machine data) – 由传感器或算法在机器上产生的数据
机器学习(Machine learning) –
人工智能的一部分，指的是机器能够从它们所完成的任务中进行自我学习，通过长期的累积实现自我改进。
MapReduce – 是处理大规模数据的一种软件框架(Map: 映射，Reduce: 归纳)。
大规模并行处理(MPP: Massively Parallel Processing) –
同时使用多个处理器(或多台计算机)处理同一个计算任务。
元数据(Metadata) – 被称为描述数据的数据，即描述数据数据属性(数据是什么)的信息。
MongoDB – 一种开源的非关系型数据库(NoSQL database)
多维数据库(Multi-Dimensional Databases) – 用于优化数据联机分析处理(OLAP)程序，优化数据仓库的一种数据库。
多值数据库(MultiValue Databases) – 是一种非关系型数据库(NoSQL),
一种特殊的多维数据库：能处理3个维度的数据。主要针对非常长的字符串，能够完美地处理HTML和XML中的字串。
N
自然语言处理(Natural Language Processing) –
是计算机科学的一个分支领域，它研究如何实现计算机与人类语言之间的交互。
网络分析(Network analysis) – 分析网络或图论中节点间的关系，即分析网络中节点间的连接和强度关系。
NewSQL – 一个优雅的、定义良好的数据库系统，比SQL更易学习和使用，比NoSQL更晚提出的新型数据库
NoSQL –
顾名思义，就是“不使用SQL”的数据库。这类数据库泛指传统关系型数据库以外的其他类型的数据库。这类数据库有更强的一致性，能处理超大规模和高并发的数据。
O
对象数据库(Object Databases) –
(也称为面象对象数据库)以对象的形式存储数据，用于面向对象编程。它不同于关系型数据库和图形数据库，大部分对象数据库都提供一种查询语言，允许使用声明式编程(declarative
programming)访问对象
基于对象图像分析(Object-based Image Analysis) –
数字图像分析方法是对每一个像素的数据进行分析，而基于对象的图像分析方法则只分析相关像素的数据，这些相关像素被称为对象或图像对象。
*** 作型数据库(Operational Databases) –
这类数据库可以完成一个组织机构的常规 *** 作，对商业运营非常重要，一般使用在线事务处理，允许用户访问 、收集、检索公司内部的具体信息。
优化分析(Optimization analysis) –
在产品设计周期依靠算法来实现的优化过程，在这一过程中，公司可以设计各种各样的产品并测试这些产品是否满足预设值。
本体论(Ontology) – 表示知识本体，用于定义一个领域中的概念集及概念之间的关系的一种哲学思想。(译者注:
数据被提高到哲学的高度，被赋予了世界本体的意义，成为一个独立的客观数据世界)
异常值检测(Outlier detection) –
异常值是指严重偏离一个数据集或一个数据组合总平均值的对象，该对象与数据集中的其他它相去甚远，因此，异常值的出现意味着系统发生问题，需要对此另加分析。
P
模式识别(Pattern Recognition) – 通过算法来识别数据中的模式，并对同一数据源中的新数据作出预测
P字节(PB: Petabytes) – 约等于1000 TB(terabytes), 约等于1百万 GB
(gigabytes)。欧洲核子研究中心(CERN)大型强子对撞机每秒产生的粒子个数就约为1 PB
平台即服务(PaaS: Platform-as-a-Service) – 为云计算解决方案提供所有必需的基础平台的一种服务
预测分析(Predictive analysis) –
大数据分析方法中最有价值的一种分析方法，这种方法有助于预测个人未来(近期)的行为，例如某人很可能会买某些商品，可能会访问某些网站，做某些事情或者产生某种行为。通过使用各种不同的数据集，例如历史数据，事务数据，社交数据，或者客户的个人信息数据，来识别风险和机遇
隐私(Privacy) – 把具有可识别出个人信息的数据与其他数据分离开，以确保用户隐私。
公共数据(Public data) – 由公共基金创建的公共信息或公共数据集。
Q
数字化自我(Quantified Self) – 使用应用程序跟踪用户一天的一举一动，从而更好地理解其相关的行为
查询(Query) – 查找某个问题答案的相关信息
R
再识别(Re-identification) – 将多个数据集合并在一起，从匿名化的数据中识别出个人信息
回归分析(Regression analysis) –
确定两个变量间的依赖关系。这种方法假设两个变量之间存在单向的因果关系(译者注：自变量，因变量，二者不可互换)
RFID – 射频识别; 这种识别技术使用一种无线非接触式射频电磁场传感器来传输数据
实时数据(Real-time data) – 指在几毫秒内被创建、处理、存储、分析并显示的数据
推荐引擎(Recommendation engine) – 推荐引擎算法根据用户之前的购买行为或其他购买行为向用户推荐某种产品
路径分析(Routing analysis) –
针对某种运输方法通过使用多种不同的变量分析从而找到一条最优路径，以达到降低燃料费用，提高效率的目的
S
半结构化数据(Semi-structured data) –
半结构化数据并不具有结构化数据严格的存储结构，但它可以使用标签或其他形式的标记方式以保证数据的层次结构
情感分析(Sentiment Analysis) – 通过算法分析出人们是如何看待某些话题
信号分析(Signal analysis) – 指通过度量随时间或空间变化的物理量来分析产品的性能。特别是使用传感器数据。
相似性搜索(Similarity searches) – 在数据库中查询最相似的对象，这里所说的数据对象可以是任意类型的数据
仿真分析(Simulation analysis) –
仿真是指模拟真实环境中进程或系统的 *** 作。仿真分析可以在仿真时考虑多种不同的变量，确保产品性能达到最优
智能网格(Smart grid) – 是指在能源网中使用传感器实时监控其运行状态，有助于提高效率
软件即服务(SaaS: Software-as-a-Service) – 基于Web的通过浏览器使用的一种应用软件
空间分析(Spatial analysis) – 空间分析法分析地理信息或拓扑信息这类空间数据，从中得出分布在地理空间中的数据的模式和规律
SQL – 在关系型数据库中，用于检索数据的一种编程语言
结构化数据(Structured data)
-可以组织成行列结构，可识别的数据。这类数据通常是一条记录，或者一个文件，或者是被正确标记过的数据中的某一个字段，并且可以被精确地定位到。
T
T字节(TB: Terabytes) – 约等于1000 GB(gigabytes)。1 TB容量可以存储约300小时的高清视频。
时序分析(Time series analysis) –
分析在重复测量时间里获得的定义良好的数据。分析的数据必须是良好定义的，并且要取自相同时间间隔的连续时间点。
拓扑数据分析(Topological Data Analysis) –
拓扑数据分析主要关注三点：复合数据模型、集群的识别、以及数据的统计学意义。
交易数据(Transactional data) – 随时间变化的动态数据
透明性(Transparency) – 消费者想要知道他们的数据有什么作用、被作何处理，而组织机构则把这些信息都透明化了。
U
非结构化数据(Un-structured data) – 非结构化数据一般被认为是大量纯文本数据，其中还可能包含日期，数字和实例。
V
价值(Value) – (译者注：大数据4V特点之一)
所有可用的数据，能为组织机构、社会、消费者创造出巨大的价值。这意味着各大企业及整个产业都将从大数据中获益。
可变性(Variability) – 也就是说，数据的含义总是在(快速)变化的。例如，一个词在相同的推文中可以有完全不同的意思。
多样(Variety) – (译者注：大数据4V特点之一)
数据总是以各种不同的形式呈现，如结构化数据，半结构化数据，非结构化数据，甚至还有复杂结构化数据
高速(Velocity) – (译者注：大数据4V特点之一) 在大数据时代，数据的创建、存储、分析、虚拟化都要求被高速处理。
真实性(Veracity) – 组织机构需要确保数据的真实性，才能保证数据分析的正确性。因此，真实性(Veracity)是指数据的正确性。
可视化(Visualization) –
只有正确的可视化，原始数据才可被投入使用。这里的“可视化”并非普通的图型或饼图，可视化指是的复杂的图表，图表中包含大量的数据信息，但可以被很容易地理解和阅读。
大量(Volume) – (译者注：大数据4V特点之一) 指数据量，范围从Megabytes至Brontobytes
W
天气数据(Weather data) – 是一种重要的开放公共数据来源，如果与其他数据来源合成在一起，可以为相关组织机构提供深入分析的依据
X
XML数据库(XML Databases) –
XML数据库是一种以XML格式存储数据的数据库。XML数据库通常与面向文档型数据库相关联，开发人员可以对XML数据库的数据进行查询，导出以及按指定的格式序列化
Y
Y字节 (Yottabytes) – 约等于1000 ZB (Zettabytes),
约等于250万亿张DVD的数据容量。现今，整个数字化宇宙的数据量为1 YB, 并且将每18年翻一番。
Z
Z字节 (ZB: Zettabytes) – 约等于1000 EB (Exabytes), 约等于1百万
TB。据预测，到2016年全球范围内每天网络上通过的信息大约能达到1 ZB。
附：存储容量单位换算表：
1 Bit(比特) = Binary Digit
8 Bits = 1 Byte(字节)
1,000 Bytes = 1 Kilobyte
1,000 Kilobytes = 1 Megabyte
1,000 Megabytes = 1 Gigabyte
1,000 Gigabytes = 1 Terabyte
1,000 Terabytes = 1 Petabyte
1,000 Petabytes = 1 Exabyte
1,000 Exabytes = 1 Zettabyte
1,000 Zettabytes = 1 Yottabyte
1,000 Yottabytes = 1 Brontobyte
1,000 Brontobytes = 1 Geopbyte

传统基于穷举或纯数学理论层面的分析，对于现代高强度加密算法而言，算力有限导致无法实现穷举，算法的复杂性也无法通过数学工具直接破解，根据近代物理学发展出来的理论，电子设备依赖外部电源提供动力，设备在运行过程中会消耗能量，同时会跟外界环境存在声、光、电、磁等物理交互现象产生，设备本身也可能存在设计薄弱点，通过这些物理泄露或人为进行物理层的修改获取数据，然后运用各类数学工具和模型实现破解。

然而在做物理攻击时，往往需要昂贵的设备，并要具备数学、物理学、微电子学、半导体学、密码学、化学等等多学科的交叉理论知识，因此其技术门槛和攻击成本都很高，目前在刚刚结束的 Blackhat 2018 上，展台上展示了多款 ChipWhisperer 硬件工具,作为亲民型的物理攻击平台，获得了一致的好评。

(来源 Newae 官方)

ChipWhisperer Lite 版官方商店售价 $250 ，不管是实验学习，还是实战入门，都是极具性价比的，本文主要介绍主流的一些物理攻击手段，以及对 ChipWhisperer 的初步认知，后续将会据此从理论、原理、实验以及实战等角度详细介绍该平台。

真正的安全研究不能凌驾于真实的攻防场景，对于物联网安全而言，其核心目标是真实物理世界中的各种硬件设备，真实的攻击场景往往发生在直接针对硬件设备的攻击，因此物联网安全的基石在于物理层的安全，而针对物联网物理攻击手段，是当前物联网面临的最大安全风险之一。

物理攻击就是直接攻击设备本身和运行过程中的物理泄露，根据攻击过程和手段可以分为非侵入攻击、半侵入式攻击和侵入式攻击。ChipWhisperer 平台主要用做非侵入式攻击，包括侧信道和故障注入攻击等。

传统密码分析学认为一个密码算法在数学上安全就绝对安全,这一思想被Kelsey等学者在1998年提出的侧信道攻击(Side-channel Attacks,SCA)理论所打破。侧信道攻击与传统密码分析不同,侧信道攻击利用功耗、电磁辐射等方式所泄露的能量信息与内部运算 *** 作数之间的相关性,通过对所泄露的信息与已知输入或输出数据之间的关系作理论分析,选择合适的攻击方案,获得与安全算法有关的关键信息。目前侧信道理论发展越发迅速，从最初的简单功耗分析（SPA），到多阶功耗分析（CPA），碰撞攻击、模板攻击、电磁功耗分析以及基于人工智能和机器学习的侧信道分析方式，侧信道攻击方式也推陈出新，从传统的直接能量采集发展到非接触式采集、远距离采集、行为侧信道等等。

利用麦克风进行声波侧信道

利用软件无线电实施非接触电磁侧信道

故障攻击就是在设备执行加密过程中，引入一些外部因素使得加密的一些运算 *** 作出现错误，从而泄露出跟密钥相关的信息的一种攻击。一些基本的假设：设定的攻击目标是中间状态值； 故障注入引起的中间状态值的变化；攻击者可以使用一些特定算法（故障分析）来从错误/正确密文对中获得密钥。
使用故障的不同场景： 利用故障来绕过一些安全机制（口令检测，文件访问权限，安全启动链）；产生错误的密文或者签名（故障分析）；组合攻击（故障+旁路）。

非侵入式电磁注入

半侵入式光子故障注入

侵入式故障注入

本系列使用的版本是 CW1173 ChipWhisperer-Lite ，搭载 SAKURA-G 实验板，配合一块 CW303 XMEGA 作为目标测试板。

CW1173 是基于FPGA实现的硬件，软件端基于 python，具有丰富的扩展接口和官方提供的各类 API 供开发调用，硬件通过自带的 OpenADC 模块可以实现波形的捕获，不需要额外的示波器。

板上自带有波形采集端口（MeaSure）和毛刺输出（Glitch）端口，并自带 MOSFET 管进行功率放大。

并提供多种接口触发设置，基本满足一般的攻击需求。

芯片物理结构为许多CMOS电路组合而成，CMOS 电路根据输入的不同电信号动态改变输出状态，实现0或1的表示，完成相应的运算，而不同的运算指令就是通过 CMOS 组合电路完成的，但 CMOS电路根据不同的输入和输出，其消耗的能量是不同的，例如汇编指令 ADD 和 MOV ，消耗的能量是不同的，同样的指令 *** 作数不同，消耗的能量也是不同的，例如 MOV 1 和 MOV 2其能量消耗就是不同的，能量攻击就是利用芯片在执行不同的指令时，消耗能量不同的原理，实现秘钥破解。

常用的能量攻击方式就是在芯片的电源输入端（VCC）或接地端（GND）串联一个1到50欧姆的电阻，然后用示波器不断采集电阻两端的电压变化，形成波形图，根据欧姆定律，电压的变化等同于功耗的变化，因此在波形图中可以观察到芯片在执行不同加密运算时的功耗变化。

CW1173 提供能量波形采集端口，通过连接 板上的 MeaSure SMA 接口，就可以对能量波形进行采集，在利用chipwhisperer 开源软件就可以进行分析，可以实现简单能量分析、CPA攻击、模板攻击等。

通过 cpa 攻击 AES 加密算法获取密钥

ChipWhisperer 提供对时钟、电压毛刺的自动化攻击功能，类似于 web 渗透工具 Burpsuite ，可以对毛刺的宽度、偏移、位置等等参数进行 fuzz ，通过连接板上的 Glitch SMA 接口，就可以输出毛刺，然后通过串口、web 等获取结果，判断毛刺是否注入成功。

时钟毛刺攻击是针对微控制器需要外部时钟晶振提供时钟信号，通过在原本的时钟信号上造成一个干扰，通过多路时钟信号的叠加产生时钟毛刺，也可以通过自定义的时钟选择器产生，CW1173 提供高达 300MHZ 的时钟周期控制，时钟是芯片执行指令的动力来源，通过时钟毛刺可以跳过某些关键逻辑判断，或输出错误数据。

通过 CW1173 时钟毛刺攻击跳过密码验证

电压毛刺是对芯片电源进行干扰造成故障，在一个很短的时间内，使电压迅速下降，造成芯片瞬间掉电，然后迅速恢复正常，确保芯片继续正常工作，可以实现如对加密算法中某些轮运算过程的干扰，造成错误输出，或跳过某些设备中的关键逻辑判断等等 。

对嵌入式设备的电压毛刺攻击

随着物理攻击理论和技术的进步，针对硬件芯片的防护手段也随之提高，芯片物理层的攻防一直在不断角力 ，现实环境中，能量采集会受到各种噪声因素的干扰，硬件厂商也会主动实施一些针对物理攻击的防护，单纯依靠 ChipWhisperer 平台难以实现真实场景的攻击，因此还需要结合电磁、声波、红外、光子等多重信息，以及对硬件进行修改，多重故障注入，引入智能分析模型等等组合手段，今后会进一步介绍一些基于 ChipWhisperer 的高级攻击方式和实战分析方法。

目前比较流行的有 Java、 C、 Python。
Java：面向对象开源，跨平台。
C：C面向过程，支持硬件级别的处理。
ptyhon：动态解释型，开发效率高，开源，灵活，入门低易上手。

一、什么是大型网站运维

首先明确一下，全文所讲的”运维“是指：大型网站运维，与其它运维的区别还是蛮大的；然后我们再对大型网站与小型网站进行范围定义，此定义主要从运维复杂性角度考虑，如网站规范、知名度、服务器量级、pv量等考虑，其它因素不是重点；因此，我们先定义服务器规模大于1000台，pv每天至少上亿（至少国内排名前10），如sina、、，renrencom等等；其它小型网站可能没有真正意义上的运维工程师，这与网站规范不够和成本因素有关，更多的是集合网络、系统、开发工作于一身的“复合性人才”，就如有些公司把一些合同采购都纳入了运维职责范围，还有如IDC网络规划也纳入运维职责。所以，非常重要一定需要明白：运维对其它关联工种必须非常了解熟悉：网络、系统、系统开发、存储，安全,DB等；我在这里所讲的运维工程师就是指专职运维工程师。

我们再来说说一般产品的“出生”流程：

1、首先公司管理层给出指导思想，PM定位市场需求（或copy成熟应用）进行调研、分析、最终给出详细设计。

2、架构师根据产品设计的需求，如pv大小预估、服务器规模、应用架构等因素完成网络规划,架构设计等（基本上对网络变动不大，除非大项目）

3、开发工程师将设计code实现出来、测试工程师对应用进行测试。

4、好，到运维工程师出马了，首先明确一点不是说前三步就与运维工作无关了，恰恰相反，前三步与运维关系很大：应用的前期架构设计、软/硬件资源评估申请采购、应用设计性能隐患及评估、IDC、服务性能安全调优、服务器系统级优化（与特定应用有关）等都需运维全程参与，并主导整个应用上线项目；运维工程师负责产品服务器上架准备工作，服务器系统安装、网络、IP、通用工具集安装。运维工程师还需要对上线的应用系统架构是否合理、是否具备可扩展性、及安全隐患等因素负责，并负责最后将产品（程序）、网络、系统三者进行拼接并最优化的组合在一起，最终完成产品上线提供用户使用，并周而复使：需求->开发（升级）->测试->上线（性能、安全问题等之前预估外的问题随之慢慢就全出来了）在这里提一点：网站开发模式与传统软件开发完全不一样，网站一天开发上线1~5个升级版本是家常便饭，用户体验为王嘛，如果某个线上问题像M$需要1年解决，用户早跑光了；应用上线后，运维工作才刚开始，具体工作可能包括：升级版本上线工作、服务监控、应用状态统计、日常服务状态巡检、突发故障处理、服务日常变更调整、集群管理、服务性能评估优化、数据库管理优化、随着应用PV增减进行应用架构的伸缩、安全、运维开发工作：

a、尽量将日常机械性手工工作通过工具实现（如服务监控、应用状态统计、服务上线等等），提高效率。

b、解决现实中服务存在的问题，如高可靠性、可扩展性问题等。

c、大规模集群管理工具的开发，如1万台机器如何在1分钟内完成密码修改、或运行指定任务？2000台服务器如何快速安装 *** 作系统？各分布式IDC、存储集群中数PT级的数据如何快速的存储、共享、分析？等一系列挑战都需运维工程师的努力。

在此说明一下其它配合工种情况，在整个项目中，前端应用对于网络/系统工程师来说是黑匣子，同时开发工程师职责只是负责完成应用的功能性开发，并对应用本身性能、安全性等应用本身负责，它不负责或关心网络/系统架构方面事宜，当然软/硬件采购人员等事业部其它同事也不会关心这些问题，各司其职，但项目的核心是运维工程师~！所有其它部门的桥梁。

上面说了很多，我想大家应该对运维有一些概念了，在此打个比方吧，如果我们是一辆高速行驶在高速公路上的汽车，那运维工程师就是司机兼维修工，这个司机不简单，有时需要在高速行驶过程中换轮胎、并根据道路情况换档位、当汽车速度越来越快，汽车本身不能满足高速度时对汽车性能调优或零件升级、高速行进中解决汽车故障及性能问题、时刻关注前方安全问题，并先知先觉的采取规避手段。这就是运维工作~！

最后说一下运维工程师的职责：”确保线上稳定“，看似简单，但实属不容易，运维工程师必须在诸多不利因素中进行权衡：新产品模式对现有架构及技术的冲击、产品高频度的升级带来的线上BUG隐患、运维自动化管理承度不高导致的人为失误、IT行业追求的高效率导致流程执行上的缺失、用户增涨带来的性能及架构上的压力、IT行业宽松的技术管理文化、创新风险、互联网安全性问题等因素，都会是网站稳定的大敌，运维工程师必须把控好这最后一关，需具体高度的责任感、原则性及协调能力，如果能做到各因素的最佳平衡，那就是一名优秀的运维工程师了。

另外在此聊点题外话，我在这里看到有很多人要sina、、,51com等聊自已的运维方面的经验，其实这对于它们有点免为其难：

a、各公司自已网络架构、规模、或多或少还算是公司的核心秘密，要保密，另外，对于大家所熟知的通用软件、架构，由于很多公司会根据自已实际业务需要，同时因为原版性能、安全性、已知bug、功能等原因，进行过二次开发（如apache,php,mysql）， *** 作系统内核也会根据不同业务类型进行定制的，如某些应用属于运算型、某些是高IO型、或大存储大内存型。根据这些特点进行内核优化定制，如sina就在memcache上进行过二次开发，搞出了一个MemcacheDB，具体做得如何我们不谈，但开源了，是值得称赞的，国内公司对于开源基本上是索取，没有贡献；另外，服务器也不是大家所熟知的型号，根据业务特点，大部份都是找DELL/HP/ibm进行过定制；另外，在分布式储存方面都有自已解决方案，要不就是使用现成开源hadoop等解决方案，或自已开发。但90%都是借鉴googleGFS的思想:分布式存储、计算、大表。

c、如上面所讲，目前大型网站运维还处于幼年时期理念和经验都比较零散，没有成熟的知识体系，可能具体什么是运维，大家都要先思索一番，或压根没想过，真正讨论也只是运维工作的冰山一角，局限于具体技术细节，或某某著名网站大的框架，真正运维体系化东西没有，这也许是目前网上运维相关资料比较少的原故吧。或者也是国内运维人员比较难招，比较牛的运维工程师比较少见的原因之一吧。

二、运维工作师需要什么样的技能及素质

做为一名运维工程师需要什么样的技能及素质呢，首先说说技能吧，如大家上面所看到，运维是一个集多IT工种技能与一身的岗位，对系统->网络->存储->协议->需求->开发->测试->安全等各环节都需要了解一些，但对于某些环节需熟悉甚至精通，如系统(基本 *** 作系统的熟悉使用,nix,windows)、协议、系统开发(日常很重要的工作是自动运维化相关开发、大规模集群工具开发、管理）、通用应用（如lvs、ha、webserver、db、中间件、存储等）、网络,IDC拓朴架构；

技能方面总结以下几点：

1、开发能力，这点非常重要，因为运维工具都需要自已开发，开发语言：c/c++（必备其中之一）、perl、python、php（其中之一）、shell（awk,sed,expect等），需要有过实际开发经验，否则工作会非常痛苦。

2、通用应用方面需要了解： *** 作系统（目前国内主要是linux、bsd）、webserver相关(nginx,apahe,php,lig>

3、系统、网络、安全，存储，CDN，DB等需要相当了解，知道其相关原理。

个人素质方面：

1、沟通能力、团队协作：运维工作跨部门、跨工种工作很多，需善于沟通、并且团队协作能力要强；这应该是现代企业的基本素质要求了，不多说。

2、工作中需胆大心细：胆大才能创新、不走寻常路，特别对于运维这种新的工种，更需创新才能促进发展；心细，运维工程师是网站admin,最高线上权限者，一不小心就会遗憾终生或打入十八层地狱。

3、主动性、执行力、精力旺盛、抗压能力强：由于IT行业的特性，变化快；往往计划赶不上变化，运维工作就更突出了，比如国内各大公司服务器往往是全国各地，哪里便宜性价比高，就那往搬，进行大规模服务迁移（牵扯的服务器成百上千台），这是一个非常头痛的问题；往往时间非常紧迫，如限1周内完成，这种情况下，运维工程师的主动性及执行力就有很高的要求了：计划、方案、服务无缝迁移、机器搬迁上架、环境准备、安全评估、性能评估、基建、各关联部门扯皮,7X24小紧急事故响应等。

4、其它就是一些基本素质了：头脑要灵光、逻辑思维能力强、为人谦虚稳重、亲和力、乐于助人、有大局观。

5、最后一点，做网站运维需要有探索创新精神，通过创新型思维解决现实中的问题，因为这是一个处于幼年的职业（国外也一样，但比国内起步早点），没有成熟体系或方法论可以借鉴，只能靠大家自已摸索努力。

三、怎样才算是一个合格的运维工程师

1、保证服务达到要求的线上标准，如999%；保证线上稳定，这是运维工程师的基本责职所在。

2、不断的提升应用的可靠性与健壮性、性能优化、安全提升；这方面非常考验主动性、和创新思维。

3、网站各层面监控、统计的覆盖度，软件、硬件、运行状态，能监控的都需要监控统计，避免监控死角、并能实时了解应用的运转情况。

4、通过创新思维解决运维效率问题；目前各公司大部份运维主要工作还是依赖人工 *** 作干预，需要尽可能的解放双手。

5、运维知识的积累与沉淀、文档的完备性，运维是一个经验性非常强的岗位，好的经验与陷阱都需积累下来，避免重复性范错。

6、计划性和执行力；工作有计划，计划后想法设法达到目标，不找借口。

以上只是技术上的一些层面，当然个人意识也是很重要的。

四、运维职业的迷惘、现状与发展前景

运维岗位不像其它岗位，如研发工程师、测试工程师等，有非常明确的职责定位及职业规划，比较有职业认同感与成就感；而运维工作可能给人的感觉是哪方面都了解一些，但又都比上专职工程师更精通、感觉平时被关注度比较低（除非线上出现故障），慢慢的大家就会迷惘，对职业发展产生困惑,为什么会有这种现象呢？除了职业本身特点外，主要还是因为对运维了解不深入、做得不深入导致；其实这个问题其它岗位也会出现，但我发现运维更典型，更容易出现这个问题；

针对这个问题我谈一下网站运维的现状及发展前景（也在思考中，可能不太深入全面，也请大家斧正补充）

运维现状：

2、技术层次比较低；主要处于技术探索、积累阶段，没有型成体系化的理念、技术。

3、体力劳动偏大；这个问题主要与第二点有关系，很多事情还是依靠人力进行，没有完成好的提练，对于大规模集群没有成熟的自动化管理方法，在此说明一下，大规模集群与运维工作是息息相关的如果只是百十来台机器，那就没有运维太大的生存空间了。

4、优秀运维人才的极度缺乏；目前各大公司基本上都靠自已培养，这个现状导致行业内运维人才的流动性非常低，非常多好的技术都局限在各大公司内部，如google50万台机器科学的管理,或者国内互联公司top10的一些运维经验，这些经验是非常有价值的东西并决定了一个公司的核心竞争力；这些问题进而导致业内先进运维技术的流通、贯通、与借签，并最终将限制了运维发展。

5、很多优秀的运维经验都掌握在大公司手中；这不在于公司的技术实力，而在于大公司的技术规模、海量PV、硬件规模足够大，如可怕的流量、51com海量数据~~~~这些因素决定了他们遇到的问题都是其它中/小公司还没有遇到的，或即将遇到。但大公司可能已有很好的解决方案或系统。

发展前景：

1、从行业角度来看，随着中国互联网的高速发展（目前中国网民已跃升为全球第一）、网站规模越来越来大、架构越来越复杂；对专职网站运维工程师、网站架构师的要求会越来越急迫,特别是对有经验的优秀运维人才需求量大，而且是越老越值钱；目前国内基本上都是选择毕业生培养（限于大公司），培养成本高，而且没有经验人才加入会导致公司技术更新缓慢、影响公司的技术发展；当然，毕业生也有好处：白纸一张，可塑性强，比较认同并容易融入企业文化。

2、从个人角度，运维工程师技术含量及要求会越来越高，同时也是对公司应用、架构最了解最熟悉的人、越来越得到重视。

3、网站运维将成为一个融合多学科（网络、系统、开发、安全、应用架构、存储等）的综合性技术岗位，给大家提供一个很好的个人能力与技术广度的发展空间。

4、运维工作的相关经验将会变得非常重要，而且也将成为个人的核心竞争力，具备很好的各层面问题的解决能力及方案提供、全局思考能力等。

5、特长发控和兴趣的培养；由于运维岗位所接触的知识面非常广阔，更容易培养或发挥出个人某些方面的特长或爱好，如内核、网络、开发、数据库等方面，可以做得非常深入精通、成为这方面的专家。

6、如果真要以后不想做运维了，转到其它岗位也比较容易，不会有太大的局限性。当然了，你得真正用心去做。

7、技术发展方向、网站/系统架构师。

2021年，信息技术发展突飞猛进。人工智能、大数据、开源、虚拟现实（VR）、增强现实（AR）……每个领域的发展几乎都可圈可点。
在人工智能领域，人工智能的语言大模型、图文大模型乃至多模态大模型的基本能力已得到了充分展现。例如，阿里巴巴达摩院公布多模态大模型M6最新进展，参数从万亿跃迁至10万亿；鹏城实验室与百度联合发布全球首个知识增强千亿大模型——鹏城—百度·文心，参数规模达到2600亿。
不仅如此，人工智能与其他科学领域的交叉融合也擦出火花。在《科学》近日公布的2021年度科学突破榜单上，AlphaFold和RoseTTA-fold两种基于人工智能预测蛋白质结构的技术位列榜首。
在人机交互领域，扎克伯格将Facebook公司更名为“Meta”时，特斯拉和SpaceX首席执行官埃隆·马斯克则将注意力放在脑机接口上。马斯克认为脑机接口装置将更有可能改变世界，帮助四肢瘫痪或有身体缺陷的人更好地生活和工作，“复杂的脑机接口装置可以让你完全沉浸在虚拟现实中”。此外，今年5月，斯坦福大学开发出一套皮质内脑机接口系统，可以从运动皮层的神经活动中解码瘫痪患者想象中的手写动作，并将其转换为文本。
在超算领域，最值得一提的是，今年11月，我国超算应用团队凭借“超大规模量子随机电路实时模拟”成果斩获国际高性能计算应用领域的最高奖项“戈登贝尔奖”。
在开源方面，RISC-V开源指令集及其生态快速崛起；由华为公司牵头，中国科学院软件研究所、麒麟软件等参与的openEuler *** 作系统开源社区业已汇聚了7000名活跃开发者，完成8000多个自主维护的开源软件包，催生了10多家厂商的商业发行版……
回望2021年，信息技术版邀请业内专家梳理上述四个领域的发展脉络，展望未来发展趋势。
作者 张双虎
AlphaFold或是2021年人工智能（AI）领域的“一哥”。
近日，《科学》杂志公布了 2021 年度科学突破榜单，AlphaFold 和 RoseTTA-fold 两种基于人工智能预测蛋白质结构的技术位列榜首。
此前几天，由中国工程院院刊评选的“2021全球十大工程成就（近5年全球实践验证有效、有全球影响力的工程科学和技术重大成果）”中，AlphaGo和AlphaFold亦榜上有名。
在接受《中国科学报》采访时，数位专家回望今年人工智能领域取得的成就时，均谈到了AlphaFold。
“面向科学发现的AlphaFold和中国正在构建的人工智能发展生态不能不说。” 浙江大学人工智能研究所所长吴飞对《中国科学报》说。
中科院自动化研究所模式识别国家重点实验室研究员王金桥则提名“用AI进行新冠诊断”“人工智能与生物、制药、材料等科学融合（AI for Science）”和“三模态大模型紫东太初”。
在医学领域，AI识别咳嗽声早已用于肺炎、哮喘、阿尔茨海默氏症等疾病检测。美国麻省理工学院研究人员研发出可以通过分析咳嗽录音识别新冠患者的AI模型，识别出新冠患者咳嗽的准确率为985％，其中识别无症状感染者的准确度高达100％。日前，有报道称该模型已用于识别奥密克戎病毒。
“紫东太初首次实现了图—文—音语义统一表达，兼具跨模态理解和生成能力。” 王金桥说，“目前与新华社共同发布的‘全媒体多模态大模型研发计划’，实现对全媒体数据理解与生成的统一建模，打造全栈国产化媒体人工智能平台，已 探索 性地应用于纺织业和 汽车 行业质检等场景。”
12月7日， 科技 部官网公布3份函件，支持哈尔滨、沈阳、郑州3地建设国家新一代人工智能创新发展试验区。至此，我国已经有18个国家新一代人工智能创新发展试验区，这将引领带动中国人工智能创新发展。
“我国正在推动人工智能生态发展，构建良好生态。”吴飞说，“目前已有15个国家新一代人工智能开发创新平台、18个国家新一代人工智能创新发展试验区、8个人工智能创新应用先导区和高等学校设置的人工智能本科专业和交叉学科等人才培养载体。”
“一是大模型，二是人工智能和基础学科的结合。”孙茂松对《中国科学报》说，“语言大模型、图文大模型乃至多模态大模型的基本能力已得到了充分展现，确定了它作为智能信息处理基础软设施的地位。同时，它并非简单地扩大规模，而是对数字资源整合能力和计算能力都提出了挑战。虽然它的局限性也很明显，但它所表现出的某些‘奇特’性质（如少样本学习、深度双下降、基于提示的任务调整等），使学者产生了超大参数规模或会引发质变的期待，从而为新的突破埋下了伏笔。”
今年，人工智能领域从“大炼模型”走向“炼大模型”阶段，从千亿量级到万亿量级，在大模型领域，似乎没有最大，只有更大。
3月，北京智源人工智能研究院发布我国首个超大规模人工智能模型“悟道10”。6月，智源就改写了自己的纪录，发布悟道20，参数规模达到175万亿；9月,浪潮人工智能研究院推出了中文巨量语言模型——源 10，参数量达2457亿；11 月，阿里巴巴达摩院公布多模态大模型 M6 最新进展，参数从万亿跃迁至 10 万亿；12月，鹏城实验室与百度联合发布全球首个知识增强千亿大模型——鹏城—百度·文心，参数规模达到2600亿。
与此相应，最近快手和苏黎世联邦理工学院提出了一个新的推荐系统Persia，最高支持100万亿级参数的模型训练。
另一方面，人工智能在基础学科领域不断攻城略地。
7月，DeepMind公司人工智能程序Alphafold2研究成果又登顶《自然》，在结构生物学研究领域，人工智能或带领生物学、医学和药学挺进新天地；11月，美国南加利福尼亚大学研究人员通过脑机连接设备，让猴子玩 游戏 和跑步机，从而进行神经活动数据研究；12月，DeepMind开发的机器学习框架，已帮助人们发现了纯数学领域的两个新猜想，展示了机器学习支持数学研究的潜力。
“今年人工智能在各行业应用方面也取得不小的成绩。”孙茂松说，“人工智能与基础学科结合已显示出巨大潜力，发表了多篇顶级论文，已展露出某种较强的趋势性，即‘人工智能+基础科学’大有可为。”
作者 张双虎
脑机接口、AR眼镜、智能语音、肌电手环、隔空手势识别……2021年，从基础研究到应用落地，人机交互领域风起云涌。不管是智能 健康 、元宇宙，还是自动驾驶领域的蓬勃发展，似乎都表明，人机交互正站在产业化落地的门口。
“我们研发的高通量超柔性神经电极已通过科研临床伦理审批，即将开展脑机接口人体临床试验。”中科院上海微系统所副所长、传感技术联合国家重点实验室副主任陶虎对《中国科学报》说，“安全稳定地大规模采集人体大脑的神经元信号并进行闭环调控，将实现病人感知和运动功能的修复。”
脑机接口技术给患者带来越来越多的便利。今年5月，斯坦福大学研究人员在《自然》发表封面论文，开发出一套皮质内脑机接口系统，可以从运动皮层的神经活动中解码瘫痪患者想象中的手写动作，并将其转换为文本。借助该系统，受试者（因脊髓损失瘫痪）每分钟可以打出近百个字符，且自动更正后的离线准确率超过了 99%。
不久前，马斯克表示，希望明年能在人类身上使用Neuralink 的微芯片装置。该芯片将用于治疗脊髓损伤、帕金森氏症等脑部疾病和神经系统疾病。目前，相关技术正在等待美国食品药品监督管理局的批准。
“脑机接口领域已经蓄积了相当的技术，有望成为解决大脑疾病的利器。”陶虎说，“大家都在抢占临床应用的先机，明年可能会实现技术落地应用。预计两三年内，国内会出现可媲美马斯克Neuralink的独角兽企业。”
“人机交互将引申出新的万亿级市场。”福州大学特聘教授严群这句判断，也囊括了元宇宙这个巨大的市场。
有人称2021年是“元宇宙元年”，也有人认为这不过是“旧瓶装新酒”。但无论如何，元宇宙已是今年人机交互领域绕不开的话题。
“元宇宙是虚拟现实、增强现实和混合现实的综合，它实际上并非新的东西。”北京邮电大学人机交互与认知工程实验室主任刘伟告诉《中国科学报》，“元宇宙是现实世界和虚拟世界跨越未来的发展方向，但还有些技术问题未能很好地解决。”
在真实世界里，人机交互问题和人机环境系统的混合问题未能很好地解决。真实世界的人机交互中，不管是输入、处理还是输出过程中，客观数据、主观信息和知识依然不能完美融合。
刘伟认为，无论真实世界还是虚拟世界，人类和机器决策都有“快决策”和“慢决策”过程。人类决策有时依靠逻辑决策多些，有时直觉决策多些，这种“混合决策”不断变换，而且很难找到变化规律。这方面的问题机器决策目前还未能解决。
“元宇宙还处在画饼的前期阶段。”刘伟说，“因为它的底层机理没有解决——人在真实世界里未能完美解决人机交互的问题，带到元宇宙里同样不能解决。”
谈到人机交互，刘伟认为第二个不能不说的问题是“复杂领域”。
“今年的诺贝尔物理学奖，也给了复杂系统预测气候变化模型的提出者。”刘伟说，“人机交互也是一个复杂系统，它既包括重复的问题，还包括杂乱的、跨域协同的问题。”
刘伟认为，从智能的角度说，复杂系统包括三个重要组成部分，一是人，二是装备（人造物），三是环境。这其实是多个事物之间相互作用，交织在一起、既纠缠又重叠的“人机环系统”问题。
“在人机交互中，机器强在处理‘复’的问题，人擅长管‘杂’的事——跨域协同、事物间平衡等。因为人们还没找到复杂事物的简单运行规律，所以解决所有智能产品、智能系统问题，要从人、机、环这个系统里找它们的结合、融合和交互点。而且，人要在这个系统中处于主导地位。”
人机交互领域引起刘伟重视的第三个现象，是“人工智能帮数学家发现了一些定律”。“最近，DeepMind研发了一个机器学习框架，能帮助数学家发现新的猜想和定理。”刘伟说，“人工智能是一个基本的数学工具，同时，数学又反映了一些基本规律。如果人工智能可以帮助数学家处理一些数学问题，那么，人们将更好地认识复杂系统的简单规律，人机交互方面就可能会取得新突破。”
作者 张云泉（中国科学院计算技术研究所研究员）

今年是我国超算应用实现丰收的一年。
11月中旬在美国举行的全球超算大会（SC21）上，中国超算应用团队凭借基于一台神威新系统对量子电路开创性的模拟（“超大规模量子随机电路实时模拟”），一举摘得国际上高性能计算应用领域的最高学术奖——“戈登贝尔奖”。
同时，在SC 21大学生超算竞赛总决赛上，清华大学超算团队再次夺得总冠军，实现SC竞赛四连冠。这些大规模应用软件可扩展性和性能调优方面的成绩表明，我国在并行软件方面的发展方兴未艾。
回到超算对产业的驱动来看，我们要重提“算力经济”一词。早在2018年，我们提出“算力经济”概念，认为以超级计算为核心的算力经济将成为衡量一个地方数字经济发展程度的代表性指标和新旧动能转换的主要手段。
综合近几年的发展趋势，我们认为高性能计算当前发展趋势已充分表明，随着超算与云计算、大数据、AI的融合创新，算力已成为当前整个数字信息 社会 发展的关键，算力经济已经登上 历史 舞台。
通过对2021年中国高性能计算机发展现状综合分析，可以总结出当前高性能计算正呈现出以下几个特点。
首先，高性能计算与云计算已经深度结合。高性能计算通常是以MPI、高效通信、异构计算等技术为主，偏向独占式运行，而云计算有d性部署能力与容错能力，支持虚拟化、资源统一调度和d性系统配置。
随着技术发展，超级计算与容器云正融合创新，高性能云成为新的产品服务，AWS、阿里云、腾讯、百度以及商业化超算的代表“北龙超云”，都已基于超级计算与云计算技术推出了高性能云服务和产品。
其次，超算应用从过去的高精尖向更广、更宽的方向发展。随着超级计算机的发展，尤其是使用成本的不断下降，其应用领域也从具有国家战略意义的精密研制、信息安全、石油勘探、航空航天和“高冷”的科学计算领域向更广泛的国民经济主战场快速扩张，比如制药、基因测序、动漫渲染、数字、数据挖掘、金融分析及互联网服务等，可以说已经深入到国民经济的各行各业。
从近年中国高性能计算百强排行榜（HPC TOP100）来看，超算系统过去主要集中于科学计算、政府、能源、电力、气象等领域，而近5年互联网公司部署的超算系统占据了相当大比例，主要应用为云计算、机器学习、人工智能、大数据分析以及短视频等。这些领域对于计算需求的急剧上升表明，超算正与互联网技术进行融合。
从HPC TOP100榜单的Linpack性能份额看，算力服务以46%的比例占据第一；超算中心占24%，排名第二；人工智能、云计算和短视频分别以9%、5%和4%紧随其后。
可以看出，人工智能占比的持续增加与机器学习等算法和应用的快速崛起，以及大数据中的深度学习算法的广泛应用有很大关系。互联网公司通过深度学习算法重新发现了超级计算机，特别是GPU加速的异构超级计算机的价值，纷纷投入巨资建设新系统。
综合来看，目前的算力服务、超算中心、人工智能、科学计算等领域是高性能计算的主要用户，互联网、大数据，特别是AI领域增长强劲。
再次，国家层面已经制订了战略性的算力布局计划。今年5月，国家发展改革委等四部门联合发布《全国一体化大数据中心协同创新体系算力枢纽实施方案》，提出在京津冀、长三角、粤港澳大湾区、成渝以及贵州、内蒙古、甘肃、宁夏建设全国算力网络国家枢纽节点，启动实施“东数西算”工程，力促把东部的数据送到西部进行存储和计算，同时在西部建立算力节点，改善数字基础设施不平衡的布局，有效优化数据中心的布局结构，实现算力升级，构建国家算力网络体系。
最后，人工智能的算力需求已成为算力发展主要动力。机器学习、深度学习等算法革新和通过物联网、传感器、智能手机、智能设备、互联网技术搜集的大数据，以及由超级计算机、云计算等组成的超级算力，被公认为是人工智能时代的“三驾马车”，共同掀起最新一轮的人工智能革命。
在人工智能蓬勃发展这一背景下，虚拟化云计算向高性能容器云计算演进，大数据与并行计算、机器学习融合创新就成为了产业发展的最新方向。
此外，在智能计算评测方面，我国已经提出了包括AIPerf 500在内的众多基准测试程序，这是对传统Linpack测试标准的有力补充。
这些发展表明超算技术向产业渗透的速度加快，我们已经进入一个依靠算力的人工智能时代，这也是未来发展的必然趋势之一。随着用户对算力需求的不断增长，算力经济必将在未来 社会 发展中占据重要地位。
作者 武延军（中国科学院软件研究所研究员）
开源发展可圈可点并非只是今年的事。最近几年，开源领域发生了很多重要的事情。
例如，RISC-V开源指令集及其生态的快速崛起。这与上世纪90年代初Linux诞生一样。当时，UNIX和Windows是主流，很少有人能够预料到今天以Linux为内核的 *** 作系统已经遍及人们生活的方方面面。
如今，人们每天使用的App，超过80% 概率是运行在以Linux为内核的安卓 *** 作系统上，而且，支撑其业务的后端服务器上运行的 *** 作系统很大概率也是Linux发行版。
所以，今天的RISC-V也同样可能被低估，认为其不成熟，很难与ARM和X86抗衡。但也许未来RISC-V就像Linux一样，最终成为全球范围内的主流指令集生态，产品遍及方方面面。
仅2020年，RISC-V International（RVI，RISC-V基金会迁入瑞士之后的新名称）的会员数增长了133%。其实RVI迁入瑞士这件事情本身也意义重大，是一次开源领域面对大国竞争保持初心不“选边站”的经典案例，值得全球其他开源基金会参考。
在国内，2019年底，华为公司牵头，中国科学院软件研究所、麒麟软件等参与的openEuler *** 作系统开源社区正式成立。在短短的两年内，社区已经汇聚了7000名活跃开发者，完成8000多个自主维护的开源软件包，催生了10多家厂商的商业发行版。
这是中国基础软件领域第一个真正意义上的“根社区”，虽然与20多年 历史 的Debian、Fedora还有差距，但迈出了重要一步，对学术研究、技术研发、产业创新来说，终于有了国内主导的、可以长期积淀的新平台。
同时，华为在遭遇安卓 *** 作系统GMS（谷歌移动服务）海外断供之后，推出了鸿蒙 *** 作系统HarmonyOS，并在开放原子开源基金会下启动开源项目OpenHarmony。
目前OpenHarmony短时间内已经吸引了国内众多厂商参与，也侧面反映了国内产业界对新一代万物互联 *** 作系统的旺盛需求。尽管其在生态规模和技术完整程度方面与安卓仍有差距，但毕竟迈出了打造自主生态的第一步。
这相当于为源代码合理使用划定了一个边界，即合理使用仅限于接口，一旦深入到接口的实现代码，则需要遵守相关许可。这对开源知识产权的法律界定具有重要参考意义。
今年5月，《2021中国开源发展蓝皮书》重磅发布。它不仅系统梳理了我国开源人才、项目、社区、组织、教育、商业的现状，并给出发展建议，而且为国家政府相关管理部门制定开源政策、布局开源战略提供参考，为科研院所、 科技 企业以及开源从业者提供更多的案例参考和数据支撑。
而不论是开源软件向围绕开放指令集的开源软硬件生态发展，还是开源有严格的法律边界约束，抑或是国内龙头企业正尝试通过开源 探索 解决“卡脖子”问题，且已经取得了一定的效果……众多案例都指向一个方向——开源趋势不可阻挡。因为它源自人类分享知识、协同创造的天性，也是人类文明在数字时代薪火相传的重要模式。
当然，不可否认的是，开源还存在很多问题，例如，开源软件供应链安全的问题。这里的安全既有传统意义上软件质量、安全漏洞的问题，也有开源软件无法得到持续有效维护的问题（如OpenSSL在出现HeartBleed问题时只有两位兼职维护者，log4j出现问题时只有三位兼职维护者），更有大国竞争导致的“断供”问题（如GitHub曾限制伊朗开发者访问）。
随着开源软件向GitHub这类商业平台的集中，这一问题会更加突出，甚至演变为重大风险。开源软件这一本应属于全人类的智慧资产，可能变为实施“长臂管辖”的武器。为了避免这一问题，开源代码托管平台、开源软件构建发布平台等公共基础设施需要“去中心化”。世界需要多个开源软件基础设施，以最大程度消除政治力量对开源社区的威胁。
对于中国来说，随着开源软件成为众多科研、工业等重大基础设施的重要支撑部分，开源软件本身也要有一个基础设施，具备代码托管、编译、构建、测试、发布、运维等功能，保证开源软件供应的安全性和连续性，进而增强各行各业使用开源软件的信心。
未来，核心技术创新与开源贡献引领将成为国内企业发展的新动力，或将我国开源事业推向另一个高潮。

云计算与我们息息相关，被应用于生活、游戏、视频、安全、物联网、5G、区块链等场景。
场景1：游戏：LOL、csgo、和平精英等等基于云计算平台并且动态扩容保持稳定的。
场景2：区块链：区块链技术在国内处于发展解决，目前最主要就是区块链网站架构的安全，也是云计算的核心。
场景3：智能家居：华为、小米各大厂商的智能家居背后拥有海量数据，需要处理分析用来给用户最好的体验和最需要的体验，支撑的背后就有分布式的存储和大数据的分析。
场景4：网络直播：B站直播、抖音直播、淘宝直播等各种直播与直播带货背后都是千台到万台服务器支撑着运行，批量维护升级，流量控制等等就是云计算另一个目标自动化了。
场景5：网络安全：之前我们的安全都是通过硬件防火墙，开源防火墙实现，在大流量和高并发场景，我们需要分流与使用行为检测，最终保证安全。
场景6：5G的来临：之前4G时代互联网网站和传统PC网站是几乎类似的，到了5G时代速度上的提升，网站要应对大流量的访问、各种缓存、消息队列，CDN架构用来解决此类问题。
场景7：云手机、云电脑：从2020年火爆的云主机，云电脑从根本上解决每个人手机，电能性能不统一的问题。你只需要一台可以上网的显示器，去连接使用云手机/云电脑，那云手机/云电脑背后核心技术就是云计算。
场景8：物联网架构：IOT物联网，让万物通过网络连接，智能家居、无人驾驶，这些物联网的架构，其背后的平台都是云计算平台和云服务器。

---