物联网及其四层模型

一、物联网概念 

随着互联网技术、传感器技术和人工智能技术的快速发展，物联网技术也应运而生，物联网技术在各类领域能发挥重要性变革，对解放生产力、提高工作效率和推动规模化生产等方面贡献颇大，特别是在农业领域大有可为。实现智慧农业，必须依靠物联网技术为依托，以智慧平台为核心，立足市场需求，构建生产组织智能化、产品质量溯源化、市场经营网络化为一体的产业体系。

物联网是通过智能传感器、射频识别、激光扫描仪、全球定位系统、遥感等信息传感器设备及系统和其他基于物－物通信模式的短距离自组织网络，按照约定的协议，在物品与互联网连接起来，进行信息交换和通信，以实现智能化识别、定位、跟踪、监控和管理的一种巨大智能网络。它是通信网和互联网的扩展应用和网络延伸，主要是实现人与物、物与物的信息交互。
二、物联网四层模型

在信息层面，数据信息经历生成、传输、处理和应用四个阶段，分别对应着物联网的感知识别层、网络构建层、数据处理层和综合应用层。感知识别层是利用感知技术和智能装备对物理世界进行感知识别。网络构建层是按照特定的通信协议搭建各类网络对信息进行传输，以实现物－网互联。数据处理层通过大数据和人工智能技术对网络层采样的数据进行预处理、计算存储和数据挖掘等一系列 *** 作，最大地发挥出信息的生产效能。综合应用层是集成各类技术以实现实时控制、精准管理和科学决策等功能的应用系统，从而改进人的生产方式。各类技术应对不同环境、不同需求独立展开工作，各层面间又是联系紧密，如同链条式协同配合。
感知层作为物联网的“神经末梢”，主要是通过信息感知技术将生活生产各方面映射成数据信息，并能可靠传送到网络层，实现物理世界和信息世界连接起来。信息感知技术是指利用传感器、RFID、GPS和RS等实时实地对农业领域物体进行信息采集和获取。在农业生产现场可以利用无线传感器采集温湿度、光照、溶解氧浓度和农作物长势等参数，利用视频监控设备获取农作物成长现状，利用遥感技术大规模感知农作物表面和环境因素。信息感知层作为物联网的基础，获取大量的数据信息，为信息进一步加工、处理、分析而科学决策和指导生产经营打通“二元”壁垒。

网络层要在感知层和处理层发挥承上启下作用，是以现场总线技术、无线传感器网络技术（WSN）和移动通信技术互为补充的通信网络将传感设备连接“上网”。信息传输技术可分为有线和无线、短距离和长距离，它们有各自特点、应对不同环境、利用不同信道共同组建集成网络体系，以实现高度可靠的信息交流和共享。无线传感器网络成为农业信息传输的“主力军”，通过包括传感器节点、汇聚节点、任务管理节点。大量具有独立处理能力的微型传感器节点布置在监测区域逐跳传输，并路由到汇聚节点，然后通过互联网或卫星抵达任务管理节点，最后用户通过任务管理节点配置和管理传感器网络以实现监测任务发布和数据收集。常见的无线局域网技术有蓝牙、WIFI、ZigBee，无线广域网技术有LPWAN、NB-IOT、4G和5G。特别是以“万物互联”为目标的5G将农业物联网数据传输效率带来“质的跃升”。

处理层是农业物联网的“灵魂”，通过信息处理技术对感知层采集的信息存储和挖掘分析形成预测预警、智能决策、优化控制和疾病诊断等智能模型，从而对农业生产和经营给出科学的指导。农业生产和经营过程中，数据信息是呈指数型爆炸产生，不仅是体量大，而且结构复杂、实时性强、关联度高，必须通过大数据技术处理、存储和管理，才能从海量数据中获取更多的价值。农业大数据技术平台是以Hadoop架构、MapReduce软件模型、其他组件补充的生态软件体系形成的分布式海量数据存储管理、运算处理和分析平台。数据挖掘是指从海量数据中通过算法搜索隐藏的信息关系，主要手段是机器学习、深度学习、计算机视觉等人工智能技术。只要获取隐藏知识，才能帮助决策者做出合理、正确的决定和决策。

应用层是农业物联网的“指挥室”。主要通过感知技术、传输技术、处理技术和设备进行软硬件综合集成，形成智能控制、监控决策、专家系统、物流溯源等等应用。根据生产、经营的和管理不同需求，开发出特定功能的应用，用户通过web端或移动客户端应用实时掌握信息、发出精准控制指令。可以说，先进技术发挥设备的最大生产力，综合应用改变人的工作方式，有利于做出更科学合理决策。

时序数据与截面数据能解决多重共线性  请参考下面时序数据库白皮书。

思极有容数据库

时序数据库技术白皮书

北京中电普华信息技术有限公司

2020年4月

目  录

1 大数据时代的挑战 1

2 产品特点 1

3 系统结构 2

4 存储结构 4

5 数据分区、水平扩展 6

6 高可靠系统 7

7 STable：多表聚合 9

8 数据模型 10

9 实时流式计算 11

10 便捷的安装、部署、维护 12

11 更多亮点 13

12 参数指标 13

13 应用场景 14

1 大数据时代的挑战

随着移动互联网的普及，数据通讯成本的急剧下降，以及各种低成本的传感技术和智能设备的出现，除传统的手机、计算机在实时采集数据之外，手环、共享单车、出租车、智能电表、环境监测设备、电梯、大型设备、工业生产线等也都在源源不断的产生海量的实时数据并发往云端。这些海量数据是企业宝贵的财富，能够帮助企业实时监控业务或设备的运行情况，生成各种维度的报表，而且通过大数据分析和机器学习，对业务进行预测和预警，能够帮助企业进行科学决策、节约成本并创造新的价值。

仔细研究发现，所有机器、设备、传感器、以及交易系统所产生的数据都是时序的，而且很多还带有位置信息。这些数据具有明显的特征，1: 数据是时序的，一定带有时间戳；2：数据是结构化的；3: 数据极少有更新或删除 *** 作；4：无需传统数据库的事务处理；5：相对互联网应用，写多读少；6：用户关注的是一段时间的趋势，而不是某一特点时间点的值；7: 数据是有保留期限的；8：数据的查询分析一定是基于时间段和地理区域的；9：除存储查询外，往往还需要各种统计和实时计算 *** 作；10：数据量巨大，一天采集的数据就可以超过100亿条。

看似简单的事情，但由于数据记录条数巨大，导致数据的实时写入成为瓶颈，查询分析极为缓慢，成为新的技术挑战。传统的关系型数据库或NoSQL数据库以及流式计算引擎由于没有充分利用这些数据的特点，性能提升极为有限，只能依靠集群技术，投入更多的计算资源和存储资源来处理，企业运营维护成本急剧上升。

2 产品特点

思极有容时序数据库正是普华公司面对这一高速增长的物联网大数据市场和技术挑战推出的创新性的大数据处理产品，它不依赖任何第三方软件，也不是优化或包装了一个开源的数据库或流式计算产品，而是在吸取众多传统关系型数据库、NoSQL数据库、流式计算引擎、消息队列等软件的优点之后自主开发的产品，在时序空间大数据处理上，有着自己独到的优势。

· 10倍以上的性能提升：定义了创新的数据存储结构，单核每秒就能处理至少2万次请求，插入数百万个数据点，读出一千万以上数据点，比现有通用数据库快了十倍以上。

· 硬件或云服务成本降至1/5：由于超强性能，计算资源不到通用大数据方案的1/5；通过列式存储和先进的压缩算法，存储空间不到通用数据库的1/10。

· 全栈时序数据处理引擎：将数据库、消息队列、缓存、流式计算等功能融合一起，应用无需再集成Kafka/Redis/HBase/HDFS等软件，大幅降低应用开发和维护的复杂度成本。

· 强大的分析功能：无论是十年前还是一秒钟前的数据，指定时间范围即可查询。数据可在时间轴上或多个设备上进行聚合。临时查询可通过Shell, Python, R, Matlab随时进行。

· 与第三方工具无缝连接：不用一行代码，即可与Telegraf, Grafana, Matlab, R等工具集成。后续将支持MQTT, OPC等工具, 与BI工具也能够无缝连接。

· 零运维成本、零学习成本：安装、集群一秒搞定，无需分库分表，实时备份。支持标准SQL语句，支持JDBC, RESTful连接, 支持Python/Java/C/C++/Go等开发语言, 与MySQL相似，零学习成本。

采用思极有容时序数据库，可将典型的物联网、车联网、工业互联网大数据平台的整体成本降至现有的1/5。同样的硬件资源，思极有容时序数据库能将系统处理能力和容量增加五倍以上。

3 系统结构

思极有容时序数据库是基于硬件、软件系统不可靠、一定会有故障的假设进行设计的，是基于任何单台计算机都无足够能力处理海量数据的假设进行设计的，因此思极有容时序数据库从研发的第一天起，就是按照分布式高可靠架构进行设计的，是完全去中心化的。思极有容时序数据库整个系统结构如下图所示，下面对一些基本概念进行介绍。

物理节点：集群里的任何一台物理机器(dnode)，根据其具体的CPU、内存、存储和其它物理资源，思极有容时序数据库将自动配置多个虚拟节点。

虚拟数据节点：存储具体的时序数据，所有针对时序数据的插入和查询 *** 作，都在虚拟数据节点上进行（图例中用V标明）。位于不同物理机器上的虚拟数据节点可以组成一个虚拟数据节点组（如图例中dnode0中的V0, dnode1中的V1, dnode6中的V2组成了一个组），虚拟节点组里的虚拟节点的数据以异步的方式进行同步，并实现数据的最终一致性，以保证一份数据在多台物理机器上有拷贝，而且即使一台物理机器宕机，总有位于其他物理机器上的虚拟节点能处理数据请求，从而保证系统运行的高可靠性。

虚拟管理节点：负责所有节点运行状态的采集、节点的负载均衡，以及所有Meta Data的管理，包括用户、数据库、表的管理（图例中用M标明）。当应用需要插入或查询一张表时，如果不知道这张表位于哪个数据节点，应用会连接管理节点来获取该信息。Meta Data的管理也需要有高可靠的保证，系统采用Master-Slave的机制，容许多到5个虚拟管理节点组成一个虚拟管理节点集群（如图例中的M0, M1, M2)。这个虚拟管理节点集群的创建是完全自动的，无需任何人工干预，应用也无需知道虚拟管理节点具体在哪台物理机器上运行。

集群对外服务IP：整个系统可以由多台甚至数万台服务器组成，但对于应用而言，只需要提供整个集群中任何一台或两台服务器的IP地址即可。 集群将根据应用的请求，自动的将请求转发到相应的一个甚至多个节点进行处理，包括聚合、计算 *** 作等。这些复杂的分发和路由对应用是完全透明的。

4 存储结构

为提高压缩和查询效率，思极有容时序数据库采用列式存储。与众多时序数据库不同的是，思极有容时序数据库基于时序数据的特点，将每一个采集点的数据作为数据库中的一张独立的表来存储。这样对于一个采集点的数据而言，无论在内存还是硬盘上，数据点在介质上是连续存放的，这样大幅减少随机读取 *** 作，减少IO *** 作次数，数量级的提升读取和查询效率。而且由于不同数据采集设备产生数据的过程完全独立，每个设备只产生属于自己的数据，一张表也就只有一个写入者。这样每个表就可以采用无锁方式来写，写入速度就能大幅提升。同时，对于一个数据采集点而言，其产生的数据是时序的，因此写的 *** 作可用追加的方式实现，进一步大幅提高数据写入速度。

数据具体写如流程如图所示：

写入数据时，先将数据点写进Commit日志，然后转发给同一虚拟节点组里的其他节点，再按列写入分配的内存块。当内存块的剩余空间达到一定临界值或设定的commit时间时, 内存块的数据将写入硬盘。内存块是固定大小(如16K)的, 但依据系统内存的大小，每个采集点可以分配一个到多个内存块，采取LRU策略进行管理。在一个内存块里，数据是连续存放的，但块与块是不连续的，因此思极有容时序数据库为每一个表在内存里建立有块的索引，以方便写入和查询。

数据写入硬盘是以添加日志的方式进行的，以求大幅提高落盘的速度。为避免合并 *** 作，每个采集点（表）的数据也是按块存储，在一个块内，数据点是按列连续存放的，但块与块之间可以不是连续的。思极有容时序数据库对每张表会维护一索引，保存每个数据块在文件中的偏移量，起始时间、数据点数、压缩算法等信息。每个数据文件仅仅保存固定一段时间的数据(比如一周，可以配置)，因此一个表的数据会分布在多个数据文件中。查询时，根据给定的时间段，思极有容时序数据库将计算出查找的数据会在哪个数据文件，然后读取。这样大幅减少了硬盘 *** 作次数。多个数据文件的设计还有利于数据同步、数据恢复、数据自动删除 *** 作，更有利于数据按照新旧程度在不同物理介质上存储，比如最新的数据存放在SSD盘上，最老的数据存放在大容量但慢速的硬盘上。通过这样的设计，思极有容时序数据库将硬盘的随机读取几乎降为零，从而大幅提升写入和查询效率，让思极有容时序数据库在很廉价的存储设备上也有超强的性能。

为减少文件个数，一个虚拟节点内的所有表在同一时间段的数据都是存储在同一个数据文件里，而不是一张表一个数据文件。但是对于一个数据节点，每个虚拟节点都会有自己独立的数据文件。

5 数据分区、水平扩展

为处理每日高达数亿条的海量数据，数据必须在多个节点存放。在思极有容时序数据库里，数据是按照每个采集点（表）来存放的。一张表（一个采集点）的数据，即使每秒产生一百个字节的数据量，一年也才3G的数据量，压缩后，往往还不到300M，因此在思极有容时序数据库里，一个表的数据是不跨节点存储的，以便于单张表的快速高效的插入、查询和计算。

为更好的数据分区，思极有容时序数据库采用了虚拟数据节点的设计。一个虚拟数据节点包含多个表，表的数量可以配置。根据其计算和存储资源，一个物理节点将被划分为多个虚拟数据节点。虚拟数据节点的设计带来几大优势：

1）更好的支持硬件异构环境，资源多的服务器可以创建更多的虚拟节点；

2）恢复一个宕机的节点，可以让众多的其他节点参与进来，大大加快速度；

3）如果撤掉一个数据节点，该节点上的虚拟节点将被相当均匀的迁移到其他节点上去；

4）新增一个数据节点，负载过热的节点的上的部分虚拟节点将被整体迁移过来。这一切让负载更加均衡，让数据同步变得更加高效。

与传统的数据库相似，用户可以创建多个数据库，每个库里面，可以创建多个表。一个库可以横跨多个虚拟数据节点，但一个虚拟数据节点仅仅属于一个数据库。当用户添加一个表时，管理节点将查看已经分配的虚拟节点里是否还有空位，如果有，就将该表分配到这虚拟节点。如果这个库的所有虚拟节点都没有空位，管理节点将根据负载均衡的策略(随机、轮询等)来分配一个新的虚拟节点给该库，然后将该表分配到新的虚拟节点里。由于一台物理主机有多个虚拟数据节点，这种策略能保证负载均匀分布。

管理节点负责整个系统的负载均衡，包括虚拟数据节点的增加、删除、迁移、合并与拆分。管理节点并不保存每个采集点采集的数据，只是管理虚拟节点，即使宕机，也不会影响现有各虚拟节点的数据插入和查询 *** 作。各个采集点或应用从管理节点获取分配的虚拟数据节点信息后，然后直接与虚拟数据节点通讯，直接将数据插入数据库，对于查询 *** 作也是如此。因此，系统容量以及吞吐率与虚拟数据节点的个数成正比，整个系统是水平扩展的

6 高可靠系统

为保证数据节点的高可靠性，思极有容时序数据库引入了虚拟数据节点组的概念，并采用异步的方式进行数据同步。一个虚拟节点组由处于不同物理主机上的虚拟数据节点组成，虚拟数据节点个数就是数据冗余的个数(Replication Factor，一般大于2)。在一个虚拟节点组里，各个虚拟数据节点通过心跳包实时知道对方的状态。如果一个虚拟数据节点收到数据写入的请求，该请求会被立即转发给其他虚拟数据节点，然后在本地存储处理。当应用连接思极有容时序数据库系统时，对于要 *** 作的任何一张表，系统会给应用提供该表所属的虚拟数据节点组里各个虚拟节点的IP地址（如果replication factor为3，就会有3个IP地址），如果链接其中一个失败或者 *** 作失败，应用会尝试第二个、第三个，只有所有节点失败才会返回失败。这样保证虚拟数据节点组里任何一台机器宕机，都不会影响对外的服务。这些复杂的重新连接流程都被思极有容时序数据库 Driver包装隐藏起来，应用开发者无需写程序来实现。

为保证效率，思极有容时序数据库采取异步方式实现多个副本之间的实时数据同步，采取的是最终一致性，而不是强一致。当一台主机重启时，每个虚拟数据节点都会检查自己数据的版本是否与其他虚拟节点一致，如果版本不一致，需要同步后才能进入对外服务状态。在运行过程中，由于各种原因，数据仍然可以失去同步，这种不同步会在收到转发的写入请求时被发现，一旦被发现，版本低的虚拟数据节点将马上停止对外服务，进入同步流程，同步完后，才会重新恢复对外服务。同步过程中，高版本的节点还可以正常的对外提供服务。

管理节点负责存储Meta数据，同时根据每个数据节点状态来负责负载均衡，因此也要保证其高可靠性。多个虚拟管理节点组成一个虚拟管理节点组，因为Meta数据可以被多个应用同时更新，因此思极有容时序数据库采用的是Master-Slave模式实现虚拟管理节点的数据同步。写的 *** 作，只有Slave节点写入成功后，Master节点才会返回成功，从而保证数据的强一致性。如果Master节点宕机，系统有机制保证其中一个Slave会立即被选举为Master, 从而保证系统写 *** 作的高可靠性。

由于Meta数据量并不大，Meta数据虽然需持久化存储，但将其完全保存在内存，以保证查询 *** 作的高效。在应用侧，为避免每次数据 *** 作都访问管理节点，思极有容时序数据库 Driver将必要的Meta数据都会缓存在本地，只有当需要的Meta数据不存在或失效的情况下，才会访问管理节点，这样大大提高系统性能。

管理节点在集群中存在，但对于应用和系统管理员而言，是完全透明的。整个系统会自动在物理节点上创建虚拟管理节点以及虚拟管理节点组。

7 STable：多表聚合

各个数据采集点的时钟是很难同步的，为保证其时序，而且为保证单一采集点的数据在存储介质上的连续性，思极有容时序数据库要求每个数据采集点单独建表，这样能极大提高数据的插入速度以及查询速度，但是这将导致系统表的数量猛增，让应用对表的维护以及聚合、统计 *** 作难度加大。为降低应用的开发难度，思极有容时序数据库引入了STable超级表的概念。

STable是表的集合，包含多张表，而且这个集合里每张表的Schema是一样的。同一类型的采集设备可创建一个STable。与表一样，包含Schema，但还包含标签信息。Schema定义了表的每列数据的属性，如温度、压力等，而标签信息是静态的，属于Meta Data，如采集设备的型号、位置等。思极有容时序数据库扩展了标准SQL的table的定义，创建时，除指定Schema外，还可以带关键词tags来指定有哪些标签。如：

create table m1(ts timestamp, pressure int, rpm int) tags (model binary(8), color binary(8))

上述SQL创建了一个STable m1, 带有标签model和标签color。为某一个具体的采集点创建表时，可以指定其所属的STable以及标签的值，比如：

create table t1 using m1 tags (‘apple’, ‘red’)

上述SQL以STable m1为模板，创建了一张表t1，这张表的Schema就是m1的Schema，但标签model设为apple，标签color设为red。插入数据时，仍然按照正常的方式进行插入。但查询时，除传统的表的查询外，还可以基于标签对STable进行各种聚合查询或统计。如：

select avg(pressue) from m1 where model=’apple’ interval(5m) group by color

上面这个SQL语句表示将标签model值为apple的所有采集点的记录的每5分钟的平均值计算出来,并按照标签color进行分组。

对于STable的查询 *** 作，完全与正常的表一样。但一个定义的STable可以包含多张表（多个数据采集点），应用可通过指定标签的过滤条件，对一个STable下的全部或部分表进行聚合或统计 *** 作，这样大大简化应用的开发。其具体流程如下图所示：

1) 、应用将一个查询条件发往系统；

2) 、Driver将查询的过滤条件发往Meta Node（管理节点)；

3) 、管理节点将符合查询过滤条件的表的列表发回Driver(包含每个表对应的数据节点的IP地址)；

4) 、这些返回的表可能分布在多个数据节点，Driver将计算的请求发往相应的多个数据节点；

5) 、每个数据节点完成相应的聚合计算，将结果返回给Driver；

6) 、Driver将多个数据节点返回的结果做最后的聚合，将其返回给应用。

8 数据模型

思极有容时序数据库采用的仍然是传统的关系型数据库的模型。用户需要根据应用场景，创建一到多个库，然后在每个库里创建多张表，创建表时需要定义Schema。对于同一类型的采集点，为便于聚合统计 *** 作，可以先定义超级表STable，然后再定义表。

不同的采集点往往具有不同的数据特征，比如有的采集点数据采集频率高，有的数据保留时长较长，有的采集数据需要3份备份，而有的数据一份备份即可，有的采集点一条记录很大，而有的采集点的记录仅仅16个字节，很小。为让各种场景下思极有容时序数据库都能最大效率的工作，思极有容时序数据库建议将不同数据特征的表创建在不同的库里。创建一个库时，除SQL标准的选项外，应用还可以指定保留时长、数据备份的份数、cache大小、是否压缩等多种参数。

思极有容时序数据库对库的数量、STable的数量以及表的数量没有做任何限制，而且其多少不会对性能产生影响，应用按照自己的场景创建即可。

9 实时流式计算

在存储的原始数据上，思极有容时序数据库可以做各种计算，目前支持的主要 *** 作包括：

· Avg：以每个采样时间范围内的value的平均值作为结果

· Dev：以每个采样时间范围内的value的标准差作为结果

· Count：以每个采样时间范围内的点的数目作为结果

· First：以每个采样时间范围内的第一个value作为结果

· Last：以每个采样时间范围内的最后一个value作为结果

· LeastSquares：对每个采样时间范围内的value进行最小二乘法的拟合

· Max：以每个采样时间范围内的value的最大值作为结果

· Min：以每个采样时间范围内的value的最小值作为结果

· Percentile：每个采样时间范围内的value的第p百分位数作为结果。

· Sum：以每个采样时间范围内的value的总和作为结果

· Diff：以每两个相邻的value的差值作为结果

· Div：以每个value除以一个除数作为结果

· Scale：以每个value乘以一个倍数作为结果

· 基于多个采集点数据的四则运算表达式

思极有容时序数据库还可对一个或多个数据流进行实时聚合、统计等计算，并将计算出的衍生数据当做新的数据保存进思极有容时序数据库，以便后续的 *** 作。实时计算与聚合查询很类似，只是后台定时进行，并自动滑动计算窗口的起始点。工作方式与其他流式计算引擎的Sliding Window相似。

实时计算可以通过一个简单的创建表的 *** 作来实现。如：

create table d1 as select avg (pressure) from t1 interval (60s) sliding(10s)

上述SQL表示将表t1里字段pressure每10秒钟(每次滑动的时间间隔）将过去的60秒钟（聚合计算的时间间隔）的数据平均值计算出来并写入表d1。计算出的衍生数据可以与其他原始数据或计算出的衍生数据进行再次计算。

10 便捷的安装、部署、维护

思极有容时序数据库是在Linux上开发的，任何Linux系统都可以运行，而且不依赖任何第三方软件，也不是在某个开源项目上包装出来的产品。获得安装包并解压后，只需执行安装脚本就一切搞定，极其简单。

安装后，会在安装的机器上自动创建虚拟数据节点和管理节点，开发者就可以使用了，能满足一般性的需求。但如果数据量大，就需要将软件安装到多台主机。这时也只需要在每台机器配置好Master IP, 系统管理员打开思极有容时序数据库Shell, 将新添加的主机添加进系统即可。如果要撤销一个物理节点，登录思极有容时序数据库 Shell, 将其删除即可，极其简单。传统数据库所需要的数据分区、数据迁移等等都一概不存在。

因为数据是自动同步到多个节点的，系统管理员不用担心数据的丢失，也不用制定备份和数据恢复策略，一切全自动进行。

如果软件需要升级，只要在思极有容时序数据库Shell里将新版本上传即可。管理节点将挨个把每个节点的软件进行升级，而且整个系统的服务将不停止，服务不受任何影响。如果要更换设备，只需将其拔除，安装上软件后，将新设备重新插入即可。换言之，思极有容时序数据库完全支持在线升级以及硬件的热插拔，从而保证服务的724的不间断运行。

开发人员需要做的是定义表的结构，根据具体场景，配置好各种参数，让系统性能达到最优。系统管理员只需要关注与硬件相关的报警信息，对于经常出问题的服务器或硬盘，进行更换而已。使用思极有容时序数据库, 整个系统的运维工作变得极为简单，将大大降低运营成本。

11 更多亮点

订阅模式：与标准的数据库不同，思极有容时序数据库还提供一种订阅模式。应用程序可以订阅数据库某张表的内容，一旦该表有新的记录，应用将立即得到通知。同一个表可以被多个应用订阅。与流行的消息中间件Kafka一样，订阅采取的是pull而不是push模式。Kafka的publish *** 作由数据库插入 *** 作代替。由于思极有容时序数据库具有极高的插入速度, 通过采用订阅模式，思极有容时序数据库本身也可以作为一个消息队列中间件来使用。

异步插入：为避免网络延迟带来的性能下降，更好的提高数据插入速度，思极有容时序数据库还提供一组API让应用异步插入数据。当应用调用插入API时，将立即得到反馈，等记录成功插入后，思极有容时序数据库将调用应用提供的回调函数通知应用。采用异步插入，性能将大幅提高。

Nagle算法：时序数据应用场景里，每条记录一般都很小，很多不到20字节，因此整个系统处理的是大量的小数据包。为了更进一步提高性能，减少网络IO次数，思极有容时序数据库采用了类似TCP协议的Naggle算法，客户端将缓存插入请求，只有记录的大小超过一定的大小或者缓存时间超过100毫秒，被缓存的插入请求才会被发往系统。对于时间要求很高的应用，该功能可以关闭。

12 参数指标

· 支持数据类型：tinyint, smallint, int, bigint, float, double, binary

· 单记录最大长度：4096字节

· 最大记录条数：仅受存储空间限制

· 最大表的个数：仅受节点个数限制

· 最大数据备份数：5份

· 单节点插入速度：3万条/秒(单核，16字节每记录，每次一条，无同步备份)

· 单节点查询速度：2000万条/秒(单核，16字节每记录，全内存)

· 更多指标将陆续提供

13 应用场景

思极有容时序数据库作为一个基础性的软件，应用范围及其广泛，原则上，所有使用机器、设备、传感器采集数据的地方都可以用上。一些典型场景罗列如下：

· 公共安全：上网记录、通话记录、个体追踪、区间筛选

· 电力行业：智能电表、电网、发电设备的集中监测

· 通讯行业：话费详单、用户行为、基站/通讯设备监测

· 金融行业：交易记录、存取记录、ATM、POS机监测

· 出行工具：火车/汽车/出租/飞机/自行车的实时监测

· 交通行业：实时路况，路口流量监测，卡口数据

· 石油石化：油井、运输管线、运输车队的实时监测

· 互联网：服务器/应用监测、用户访问日志、广告点击日志

· 物流行业：车辆、集装箱的追踪监测

· 环境监测：天气、空气、水文、地质环境等监测

· 物联网：电梯、锅炉、机械、水表、气表等各种联网设备

· 军工行业：各种军事装备的数据采集、存储

· 制造业：生产过程管控，流程数据、供应链数据采集与分析

网页链接 技术白皮书网页链接请单击查看！

都说存储领域，国内的生产厂商一直受制于人，自主可控技术都掌握在国外厂家手中，直到2018年的时候，中国存储行业完成了研发生产的大变化，国产主控和国产闪存才开始浮出水面，使得真正意义上的国产SSD成为可能，也拉开了SSD纯国产化的序幕。直到2020年，随着国产化的潮流趋势和国内自主研发技术的成熟，国内首款真正意义上的100%纯国产 “中国芯”光威弈Pro M2 固态硬盘正式上市，填补了国产SSD技术上的最后一块空白。

在整个集成电路中，占比最大的是存储芯片，它广泛应用于内存、消费电子、智能终端和固态存储硬盘等领域，如果没有芯片的存在，个人电脑、智能手机、数码消费产品、通信基站、光通信等设备都无法正常运转，而且随着人工智能、大数据、物联网等新兴产业的发展，存储产业与信息安全相互挂钩。中国作为最大的集成电路消费国，国内企业的市场占有率却很低，基本需要依靠进口才能满足供需平衡，最主要的DRAM、NAND存储芯片也基本被美日韩企业垄断，因为资金和技术上的缺陷，国内的芯片制造企业一直受到压制。

作为一个数码发烧友，早期最先使用的硬盘、U盘、内存条等存储硬件，也都是三星、美光、东芝等海外存储品牌，放眼望去，伪国产存储品牌的口碑并不是很理想，往往都是国外品牌占据了市场主导作用，价格也一度水涨船高，个人迫于需求问题也只能被动接受。可以说今时不同往日，目前主流的固态硬盘SSD的核心主控芯片、闪存芯片和固件算法，国内企业都已经具备了全部国产化的能力，可以实现大规模量产，能够完全摆脱国外技术壁垒，做到整条产品供应链的全部国产化。

个人在这几年也一直在关注着国产存储的发展情况，据悉国内SSD的研发投入一直在增加，生产技术上不断在攻克，近两年市面上的国产SSD也开始出现在存储市场中，与国外品牌形成对立局面，在一定程度上，国外品牌为了打压国内存储品牌，降低了长期保持的高价格，当然，国产存储品牌的高性价比还是给数码爱好者提供了更多的选择。

作为国产品牌，Gloway/光威在外包装上加入了中国元素，以中国红的色彩加上龙图腾的设计语言为主要视觉，给人有一种盛气凌人的霸气，再仔细看，外包装盒还有从古至今不同字体的“弈”子，可以说是满满的中国气息。接着我们将视角转到这条M2固态硬盘，正面贴上了和外包装一样的视觉设计，整体看似小巧，上手之后还有些许分量感，细小的元器件之间相互连接，国产的精湛工艺肉眼可见。为了方便用户的对电脑硬盘的拆装，光威弈Pro M2固态硬盘也单独为用户配备了一把小螺丝刀，收到之后就可以直接组装。不用想着去找什么工具了。收到之后就可以直接上手。

我选择的是光威弈Pro固态硬盘 1TB容量，接口的类型为M2，选择的它的理由无非就两个，一个是体积小巧，轻盈便携，我可以装在外接的硬盘盒中，随时随地都能使用，同时M2接口的固态硬盘实际的体验中，有更高的传输性能，传输速度会比STAT接口高出很多，1TB 的容量可以让我不用过度担心日常的存储问题，毕竟在这个亲民的售价上，肯定是要好好享受，平时使用中也能有更好的体验效果，特别是应对大容量的和视频，加上一系列的Adobe制作软件，才能够更加流畅的运行，提高工作效率。

光威弈Pro M2固态硬盘在硬件上全国产化之后，基础配置信息上都能看到Gloway/光威的诚意，在性能上ASSSD总分可达5000分，硬盘接口使用的是比较常见的2280规格，M2(M KEY)接口，支持PCIe 30X4和NVMe13协议，在持续读写性能上比PCIe 30X2高出一半，随机读取性能相对更好，积更小同时性能更强的支持NVME协议的M2接口的SSD符合当今的主流，内存方面采用的是长江存储基于Xtacking架构的64层 3D NAND，相比传统3D NAND闪存架构，Xtacking可带来更快的I/O传输速度、更高的存储密度，能够显著提升产品性能，缓存方面采用的是国内的长鑫厂商，是国内规模最大、技术最先进的DRAM设计制造一体化企业。

重点说到“ 中国芯 ”，光威弈Pro M2固态硬盘采用了自主主控忆芯STAR1000P，主控采用新思DesignWare ARC HS38处理多核结构，利用ARC可扩展架构与自定义指令集，提高硬件调度效率：走PCIe 30X4通道，支持NVMe 13规范，可支持8个内存通道、最大挂载32TB内存容量，兼容市面主流的3D TLC/MLC；理论顺序读写可达35GB/s和32GB/s，随机读写600K IOPS；同时，有着极佳的低功耗表现，号称在全性能模式下仅2W左右；高级特性上，引入了第三代4K LDPC纠错码技术，除支持国际AES加密标准以外，也全面支持中国商密（SM2/3/4）安全方案，可以说“中国芯”在性能表现和功耗上都标出了令人满意的内容。

M2固态硬盘仔细虽然小巧轻便，传输速度快，还是其读写寿命还是相当关键的。查过资料后得知，目前固态硬盘的闪存颗粒有 SLC / MLC / TLC /QLC 之分， MLC 由于价格贵，产能少，供货周期不稳定主要还是用于军工行业， 在消费级市场是见不到的，而MLC与 TLC其实相差不大，随着工艺的进步，制程越来越小的情况下，MLC已经被TLC赶超风头了，体质较好的 TLC 颗粒已经可以干掉部分 MLC 了。光威弈Pro M2固态硬盘选择TLC闪存颗粒，相比来说足够日常的使用，它的稳定和寿命都相对比较突出。

作为一款纯国产的光威弈Pro M2固态硬盘，算是国内存储市场的一个新星出道，从性价比方面自然是不亚于当前的国外品牌，但既然是“新星”，究竟纯国产化 “中国芯”光威弈Pro M2固态硬盘在存储量、读写速度、稳定性、温度等方面的实际使用中是否品质过关，它的综合表现又如何？光说不测假把式，想要知道光威弈Pro M2固态硬盘的性能如何，还是要以实际的软件测试作为参考。

CrystalDiskMark 简称 CDM，是一款比较流行的硬盘性能测试工具，它的体积很小巧，而且界面简单易于 *** 作，读写速度测试倾向于非压缩算法，因此它的持续读写速度更具有性能鉴别意义，借此可以比较硬盘性能的优劣。在CrystalDiskMark 1G文件传输测试中，默认为非压缩数据测试，得出光威弈Pro M2固态硬盘的读取和写入分别为3042MB/S和1483MB/S，出现了读写差距较大的问题，由于是第一个软件测试，出来的结果似乎有点不正常，于是我继续用第二款软件进行读写测试论证。

AS SSD Benchmark是一款专门用于测试 SSD 固态硬盘性能的工具，可以准确测出固态硬盘持续读写的性能，还能非常清楚的查看我们固态硬盘的4K是否已经对齐，它的成绩显示可以分为两种，一种是MB/秒的形式，另一种是IOPS形式，本次测试主要使用这款软件的4k随机读写功能，测试4K-64K多任务随机读写速度，4KB随机读取访问IOPS是SSD根本性能的直接表征。光威弈Pro M2固态硬盘的读取和写入分别为298972MB/S和257635MB/S，4K随机的读取和写入分别为200916MB/S和198431MB/S，显示4K已对齐，通过数据体现出持续读写速度略低于官方数据值，而4K随机读写速度反而远超官方数据值，检测软件可能也会有些许误差，但整体而言，光威弈Pro M2固态硬盘的读取和写入性能表现方面还是可以的。

CrystalDiskInfo 简称 CDI，它主要的功能不是用于测试性能，作为一款实用的硬盘 健康 诊断工具，可以直观地检查硬盘的 健康 状态、温度以及更多一些相关的资料。它除了支持一般的机械硬盘之外，也支持 SSD 固态硬盘甚至部分移动硬盘。通过这个软件可以明显的看到光威弈Pro M2固态硬盘接口类型为NVM Express，传输模式为PCIe 30X4，支持NVM Express 13协议，同时也支持SMART，可以通过硬盘上的监测指令和主机上的监测软件对磁头、盘片、马达、电路的运行情况、 历史 记录及预设的安全值进行分析、比较。当出现安全值范围以外的情况时，就会自动向用户发出警告，对于不少用户，特别是商业用户而言，是非常有必要存在的一个功能，可以通过常用的系统工具(如AIDA32)来查看，并通过这些参数了解硬盘的" 健康 "状况。

在实际的长时间使用中，SSD会出现发热问题，大多数的SSD为了控制温度，往往会通过控制速度，牺牲性能来达到控温的目的。温控的好坏，直接会决定这款SSD是否适合入手。光威弈Pro M2固态硬盘采用石墨散热贴，能够有一定的降温效果，保证持久的高性能传输。

以前的国产芯片确实是不尽人意，让很多国内用户失去了信心，但我想说的是，一开始总要出现瑕疵这也是正常的，即使是现在的知名海外芯片品牌，也是一步一个脚部把产品做好，刚开始也同样是会经历骂声。现在的国产储存品牌正在经历的漫长路程，更是需要我们去理解和支持。不管是基于情怀也好，还是国产芯的综合表现，我依旧是选择光威弈Pro M2 固态硬盘，目前来说，纯国产的存储品牌已经日渐完善，整体的传输稳定性和知名品牌实际差距并不大。国产化存储的出现，也让我们不用担心所谓的存储大厂着火，芯片涨价的问题，在以光威为开头领衔之作 的M2固态硬盘来说，也算是为“国产芯”开了一个好头，让每个人都是享受到平价轻奢的固态硬盘。在这里也想告诉大家，并不是任何东西越贵越好，合适自己的才是最好的。

---