论文阅读01-流量模型

网络流量建模有着广泛的应用。在本文中，我们提出了网络传输点过程(NTPP)，这是一种 概率深层机制 ，它可以模拟网络中主机的流量特性，并有效地预测网络流量模式，如负载峰值。现有的随机模型依赖于网络流量本质上的自相似性，因此无法解释流量异常现象。这些异常现象，如短期流量爆发，在某些现代流量条件下非常普遍，例如数据中心流量，从而反驳了自相似性的假设。我们的模型对这种异常具有鲁棒性，因为它使用时间点流程模型有效地利用了突发网络流量的自激特性。
在从网络防御演习(CDX)、网站访问日志、数据中心流量和P2P流量等领域收集的7个不同的数据集上，NTPP在根据几个基线预测网络流量特性(从预测网络流量到检测流量峰值)方面提供了显著的性能提升。我们还演示了我们的模型在缓存场景中的一个应用程序，表明可以使用它来有效地降低缓存丢失率。

对新型网络应用和系统的需求日益增长， 使得网络流量行为更加复杂和不可预测 。例如，在数据中心网络中，流量微爆发源于应用程序[1]的突然流行，而在副本[2]间的信息同步过程中产生的大象流会在骨干网络上造成临时的负载不均衡。另一方面，由于不同的终端用户活动模式[3]，诸如多媒体流媒体和视频会议等流量密集型应用导致了蜂窝网络和移动网络上的巨大流量差异。这种流量差异影响最终用户应用程序[4]的体验质量(QoE)。此外，随着基于Internet小型计算机系统接口(iSCSI)的分布式存储[5]和物联网(IoT)应用[6]的大规模地理分布式云存储同步的迅速普及，网络流量变异性成倍增加。各种安全攻击，如分布式拒绝服务攻击(DDoS)，加剧了流量模式预测[7]的假阴性问题。
由于应用范围的多样化，短期和长期的流量爆发在各种类型的网络中都很常见；因此，研究人员探索了不同的 基于突发周期性假设 的流量突发预测技术，如 流量矩阵[8]的部分可预测性 、 张量补全方法 [9]等。然而，最近网络流量的高度不均匀性 使这种流量突发周期性的假设失效，并导致了明显的流量差异和多重分形流量变化 ，这需要单独的检测工作。这种交通差异和多重分形的例子包括数据中心或或ISP骨干[11]网中流量的突发峰值(微突发)[10]、多媒体应用的流量(如视频流媒体)[12]、存储同步[13]、恶意或攻击流量(例如物联网设备中的DDoS攻击)[7]。因此，需要开发一个流量事件预测模型，该模型可以捕获诸如流量突发、突发峰值、主机带宽使用的意外跳变等流量差异和多重分形流量变化。
在这项工作中，我们旨在 将差异性和可变性检测集成到网络流量建模中 ，从而为高度异常的网络流量提供统一的模型。为此，我们按照单独的网络主机（例如数据中心服务器或终端用户设备）的传输特性来分解流量预测问题，在此我们着重于总网络带宽的份额每个主机使用的时间，称为给定时间的“优势”。为此，我们提出了网络传输点过程（NTPP），它是一种基于时间点过程机制的深度概率机制。 NTPP首先使用 循环标记时间点过程 （RMTPP）表征主机突发流量产生的事件[14]，该过程结合了主机的影响以根据可用带宽转发流量突发。此外，我们使用一组学习来对任意给定时间内对网络中不同主机进行排序的模板进行 排序 ，从而对不同主机之间的争用进行建模，其中主机的排序由其生成的通信量决定。这些模板提供了各种方法来评估一对主机的相对顺序，这些顺序是由它们的争用过程引起的。这些措施，连同底层的包传输过程，确保在整个时间窗口内主机之间的正确排序。为了了解传输动态以及排名的变化，我们将给定主机的观测传输时间的似然性最大化，并结合学习对模板进行排名的其他措施进行统一。这种额外的小工具使我们的模型能够预测意外的峰值，带宽使用量的跳跃，否则很难追踪（实验着重证明了这一点）。
我们根据来自不同域的 七个 真实数据集上的几个最新基准评估了我们的系统，这些数据集可能会显示异常流量。其中四项是从各个组织进行的网络防御演习中获得的，一项是从网站访问日志（1998年世界杯Web服务器）获得的，另一项是从数据中心流量的获得的，另一项是从BitTorrent网络获得的。我们观察到，在预测主机流量方面，NTPP的平均性能比最具竞争力的基准好11％，而在检测主机带宽消耗的突然跳升或峰值时，NTPP的预测精度提高了约25％。我们还使用基于NTPP的模拟器实现了下游缓存应用程序，并且观察到缓存未命中率降低了约10％。
贡献 ：
(1) 复杂包传输过程建模 ：我们设计了NTPP，这是一个多主机网络流量动态的非线性随机模型，能够准确地捕捉到包传输过程中攻击性跳跃和不规则行为的存在。此外，与现有的离散时间流量模型(如[9]、[15])相比，我们使用了时间点过程的连续时间特性。
(2) 主机间的争用建模 ：我们的NTPP方案利用了[16]中提出的产品竞争建模思想，将丰富的学习文献与网络流量建模联系起来，对[17]其进行排名。
(3) 预测能力 :NTPP不仅具有理论基础，而且具有实践效果。我们的模型能够比几种最先进的基准更有效地预测分组传输动态。此外，嵌入式鉴别模块有助于实时估计带宽消耗的突然变化，这是一个至关重要的实际挑战，所有基准都无法追踪。
(4) 下游应用 ：我们演示了NTPP在下游缓存场景中的应用，突出了它的实用性。现有的原始内容缓存由于突发的流量而存在较高的缓存丢失率，而我们的模型支持的智能内容缓存通过根据不同主机的预测流量为它们保留不同数量的内存空间来实现更好的性能。

从历史上看，大量的工作集中在从各种不同的角度对万维网流量进行建模，使用各种分布模型，如泊松、帕累托、威布尔、马尔科夫和嵌入式马尔科夫、ON-OFF等。随着互联网的发展和各种Web服务的引入，提出了更复杂的模型，如马尔科夫调制泊松过程[19]、马尔科夫调制流体模型[20]、自回归模型[21]、流量矩阵[8]的部分可预测性、张量补全方法[9]等。然而， 这些模型只能捕获特定类型的网络事件，而不能泛化为捕获Internet流量中的不同流量差异和变化 。在另一个独立的线程中，研究人员将互联网流量爆发建模为一种显示自相似性[22]的现象。然而，许多工作23]，[24]也质疑“自相似性”的假设，特别是在互联网骨干网中，从多个来源的流量会得到多路复用。
随着大规模数据中心、基于物联网的平台、蜂窝网络和移动网络、信息中心网络等领域的出现，互联网流量的性质发生了巨大变化。因此，出现了各种领域特有的模型，如数据中心[15]的流量微突发预测、流量异常检测[25]、物联网流量表征[26]、互联网社交事件预测[27]等。此外，由于网络流量在不同的差异和变化下具有不同的性质，最近的一些工作探索了基于机器学习的技术来预测流量模式[12]、[28]、[29]中的不同事件、异常和不一致性。然而， 这种预测模型是针对特定的网络系统设计的，缺乏通用性 。

在本节中，我们将制定NTPP，即所提出的模型(参见图1)，该模型捕获了网络流量动态的两个主要组成部分—(i)集体包传输机制和(ii)多个主机之间的争用。在一开始，NTPP是由一种基于点过程的深层概率机制驱动的——点过程是一种特殊类型的随机过程，它自然地捕获了连续数据包到达背后的机制。此外，它还包含一个判别模块，该模块包含一系列对函数[17]进行排序的学习，专门设计用于建模主机间争用过程。接下来，我们将从时间点过程的概述开始，详细描述它们，然后描述学习和预测动态的方法。

常见的大数据术语表(中英对照简版)：
A
聚合(Aggregation) – 搜索、合并、显示数据的过程
算法(Algorithms) – 可以完成某种数据分析的数学公式
分析法(Analytics) – 用于发现数据的内在涵义
异常检测(Anomaly detection) –
在数据集中搜索与预期模式或行为不匹配的数据项。除了“Anomalies”,用来表示异常的词有以下几种：outliers, exceptions,
surprises, contaminants他们通常可提供关键的可执行信息
匿名化(Anonymization) – 使数据匿名，即移除所有与个人隐私相关的数据
应用(Application) – 实现某种特定功能的计算机软件
人工智能(Artificial Intelligence) –
研发智能机器和智能软件，这些智能设备能够感知周遭的环境，并根据要求作出相应的反应，甚至能自我学习
B
行为分析法(Behavioural Analytics) –
这种分析法是根据用户的行为如“怎么做”，“为什么这么做”，以及“做了什么”来得出结论，而不是仅仅针对人物和时间的一门分析学科，它着眼于数据中的人性化模式
大数据科学家(Big Data Scientist) – 能够设计大数据算法使得大数据变得有用的人
大数据创业公司(Big data startup) – 指研发最新大数据技术的新兴公司
生物测定术(Biometrics) – 根据个人的特征进行身份识别
B字节 (BB: Brontobytes) – 约等于1000 YB(Yottabytes)，相当于未来数字化宇宙的大小。1
B字节包含了27个0!
商业智能(Business Intelligence) – 是一系列理论、方法学和过程，使得数据更容易被理解
C
分类分析(Classification analysis) – 从数据中获得重要的相关性信息的系统化过程; 这类数据也被称为元数据(meta
data),是描述数据的数据
云计算(Cloud computing) – 构建在网络上的分布式计算系统，数据是存储于机房外的(即云端)
聚类分析(Clustering analysis) –
它是将相似的对象聚合在一起，每类相似的对象组合成一个聚类(也叫作簇)的过程。这种分析方法的目的在于分析数据间的差异和相似性
冷数据存储(Cold data storage) – 在低功耗服务器上存储那些几乎不被使用的旧数据。但这些数据检索起来将会很耗时
对比分析(Comparative analysis) – 在非常大的数据集中进行模式匹配时，进行一步步的对比和计算过程得到分析结果
复杂结构的数据(Complex structured data) –
由两个或多个复杂而相互关联部分组成的数据，这类数据不能简单地由结构化查询语言或工具(SQL)解析
计算机产生的数据(Computer generated data) – 如日志文件这类由计算机生成的数据
并发(Concurrency) – 同时执行多个任务或运行多个进程
相关性分析(Correlation analysis) – 是一种数据分析方法，用于分析变量之间是否存在正相关，或者负相关
客户关系管理(CRM: Customer Relationship Management) –
用于管理销售、业务过程的一种技术，大数据将影响公司的客户关系管理的策略
D
仪表板(Dashboard) – 使用算法分析数据，并将结果用图表方式显示于仪表板中
数据聚合工具(Data aggregation tools) – 将分散于众多数据源的数据转化成一个全新数据源的过程
数据分析师(Data analyst) – 从事数据分析、建模、清理、处理的专业人员
数据库(Database) – 一个以某种特定的技术来存储数据集合的仓库
数据库即服务(Database-as-a-Service) – 部署在云端的数据库，即用即付，例如亚马逊云服务(AWS: Amazon Web
Services)
数据库管理系统(DBMS: Database Management System) – 收集、存储数据，并提供数据的访问
数据中心(Data centre) – 一个实体地点，放置了用来存储数据的服务器
数据清洗(Data cleansing) – 对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性
数据管理员(Data custodian) – 负责维护数据存储所需技术环境的专业技术人员
数据道德准则(Data ethical guidelines) – 这些准则有助于组织机构使其数据透明化，保证数据的简洁、安全及隐私
数据订阅(Data feed) – 一种数据流，例如Twitter订阅和RSS
数据集市(Data marketplace) – 进行数据集买卖的在线交易场所
数据挖掘(Data mining) – 从数据集中发掘特定模式或信息的过程
数据建模(Data modelling) – 使用数据建模技术来分析数据对象，以此洞悉数据的内在涵义
数据集(Data set) – 大量数据的集合
数据虚拟化(Data virtualization) –
数据整合的过程，以此获得更多的数据信息，这个过程通常会引入其他技术，例如数据库，应用程序，文件系统，网页技术，大数据技术等等
去身份识别(De-identification) – 也称为匿名化(anonymization)，确保个人不会通过数据被识别
判别分析(Discriminant analysis) –
将数据分类;按不同的分类方式，可将数据分配到不同的群组，类别或者目录。是一种统计分析法，可以对数据中某些群组或集群的已知信息进行分析，并从中获取分类规则。
分布式文件系统(Distributed File System) – 提供简化的，高可用的方式来存储、分析、处理数据的系统
文件存贮数据库(Document Store Databases) – 又称为文档数据库(document-oriented database),
为存储、管理、恢复文档数据而专门设计的数据库，这类文档数据也称为半结构化数据
E
探索性分析(Exploratory analysis) –
在没有标准的流程或方法的情况下从数据中发掘模式。是一种发掘数据和数据集主要特性的一种方法
E字节(EB: Exabytes) – 约等于1000 PB(petabytes), 约等于1百万 GB。如今全球每天所制造的新信息量大约为1
EB
提取-转换-加载(ETL: Extract, Transform and Load) –
是一种用于数据库或者数据仓库的处理过程。即从各种不同的数据源提取(E)数据，并转换(T)成能满足业务需要的数据，最后将其加载(L)到数据库
F
故障切换(Failover) – 当系统中某个服务器发生故障时，能自动地将运行任务切换到另一个可用服务器或节点上
容错设计(Fault-tolerant design) – 一个支持容错设计的系统应该能够做到当某一部分出现故障也能继续运行
G
游戏化(Gamification) –
在其他非游戏领域中运用游戏的思维和机制，这种方法可以以一种十分友好的方式进行数据的创建和侦测，非常有效。
图形数据库(Graph Databases) –
运用图形结构(例如，一组有限的有序对，或者某种实体)来存储数据，这种图形存储结构包括边缘、属性和节点。它提供了相邻节点间的自由索引功能，也就是说，数据库中每个元素间都与其他相邻元素直接关联。
网格计算(Grid computing) – 将许多分布在不同地点的计算机连接在一起，用以处理某个特定问题，通常是通过云将计算机相连在一起。
H
Hadoop – 一个开源的分布式系统基础框架，可用于开发分布式程序，进行大数据的运算与存储。
Hadoop数据库(HBase) – 一个开源的、非关系型、分布式数据库，与Hadoop框架共同使用
HDFS – Hadoop分布式文件系统(Hadoop Distributed File
System);是一个被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统
高性能计算(HPC: High-Performance-Computing) – 使用超级计算机来解决极其复杂的计算问题
I
内存数据库(IMDB: In-memory) –
一种数据库管理系统，与普通数据库管理系统不同之处在于，它用主存来存储数据，而非硬盘。其特点在于能高速地进行数据的处理和存取。
物联网(Internet of Things) – 在普通的设备中装上传感器，使这些设备能够在任何时间任何地点与网络相连。
J
法律上的数据一致性(Juridical data compliance) –
当你使用的云计算解决方案，将你的数据存储于不同的国家或不同的大陆时，就会与这个概念扯上关系了。你需要留意这些存储在不同国家的数据是否符合当地的法律。
K
键值数据库(KeyValue Databases) –
数据的存储方式是使用一个特定的键，指向一个特定的数据记录，这种方式使得数据的查找更加方便快捷。键值数据库中所存的数据通常为编程语言中基本数据类型的数据。
L
延迟(Latency) – 表示系统时间的延迟
遗留系统(Legacy system) – 是一种旧的应用程序，或是旧的技术，或是旧的计算系统，现在已经不再支持了。
负载均衡(Load balancing) – 将工作量分配到多台电脑或服务器上，以获得最优结果和最大的系统利用率。
位置信息(Location data) – GPS信息，即地理位置信息。
日志文件(Log file) – 由计算机系统自动生成的文件，记录系统的运行过程。
M
M2M数据(Machine2Machine data) – 两台或多台机器间交流与传输的内容
机器数据(Machine data) – 由传感器或算法在机器上产生的数据
机器学习(Machine learning) –
人工智能的一部分，指的是机器能够从它们所完成的任务中进行自我学习，通过长期的累积实现自我改进。
MapReduce – 是处理大规模数据的一种软件框架(Map: 映射，Reduce: 归纳)。
大规模并行处理(MPP: Massively Parallel Processing) –
同时使用多个处理器(或多台计算机)处理同一个计算任务。
元数据(Metadata) – 被称为描述数据的数据，即描述数据数据属性(数据是什么)的信息。
MongoDB – 一种开源的非关系型数据库(NoSQL database)
多维数据库(Multi-Dimensional Databases) – 用于优化数据联机分析处理(OLAP)程序，优化数据仓库的一种数据库。
多值数据库(MultiValue Databases) – 是一种非关系型数据库(NoSQL),
一种特殊的多维数据库：能处理3个维度的数据。主要针对非常长的字符串，能够完美地处理HTML和XML中的字串。
N
自然语言处理(Natural Language Processing) –
是计算机科学的一个分支领域，它研究如何实现计算机与人类语言之间的交互。
网络分析(Network analysis) – 分析网络或图论中节点间的关系，即分析网络中节点间的连接和强度关系。
NewSQL – 一个优雅的、定义良好的数据库系统，比SQL更易学习和使用，比NoSQL更晚提出的新型数据库
NoSQL –
顾名思义，就是“不使用SQL”的数据库。这类数据库泛指传统关系型数据库以外的其他类型的数据库。这类数据库有更强的一致性，能处理超大规模和高并发的数据。
O
对象数据库(Object Databases) –
(也称为面象对象数据库)以对象的形式存储数据，用于面向对象编程。它不同于关系型数据库和图形数据库，大部分对象数据库都提供一种查询语言，允许使用声明式编程(declarative
programming)访问对象
基于对象图像分析(Object-based Image Analysis) –
数字图像分析方法是对每一个像素的数据进行分析，而基于对象的图像分析方法则只分析相关像素的数据，这些相关像素被称为对象或图像对象。
*** 作型数据库(Operational Databases) –
这类数据库可以完成一个组织机构的常规 *** 作，对商业运营非常重要，一般使用在线事务处理，允许用户访问 、收集、检索公司内部的具体信息。
优化分析(Optimization analysis) –
在产品设计周期依靠算法来实现的优化过程，在这一过程中，公司可以设计各种各样的产品并测试这些产品是否满足预设值。
本体论(Ontology) – 表示知识本体，用于定义一个领域中的概念集及概念之间的关系的一种哲学思想。(译者注:
数据被提高到哲学的高度，被赋予了世界本体的意义，成为一个独立的客观数据世界)
异常值检测(Outlier detection) –
异常值是指严重偏离一个数据集或一个数据组合总平均值的对象，该对象与数据集中的其他它相去甚远，因此，异常值的出现意味着系统发生问题，需要对此另加分析。
P
模式识别(Pattern Recognition) – 通过算法来识别数据中的模式，并对同一数据源中的新数据作出预测
P字节(PB: Petabytes) – 约等于1000 TB(terabytes), 约等于1百万 GB
(gigabytes)。欧洲核子研究中心(CERN)大型强子对撞机每秒产生的粒子个数就约为1 PB
平台即服务(PaaS: Platform-as-a-Service) – 为云计算解决方案提供所有必需的基础平台的一种服务
预测分析(Predictive analysis) –
大数据分析方法中最有价值的一种分析方法，这种方法有助于预测个人未来(近期)的行为，例如某人很可能会买某些商品，可能会访问某些网站，做某些事情或者产生某种行为。通过使用各种不同的数据集，例如历史数据，事务数据，社交数据，或者客户的个人信息数据，来识别风险和机遇
隐私(Privacy) – 把具有可识别出个人信息的数据与其他数据分离开，以确保用户隐私。
公共数据(Public data) – 由公共基金创建的公共信息或公共数据集。
Q
数字化自我(Quantified Self) – 使用应用程序跟踪用户一天的一举一动，从而更好地理解其相关的行为
查询(Query) – 查找某个问题答案的相关信息
R
再识别(Re-identification) – 将多个数据集合并在一起，从匿名化的数据中识别出个人信息
回归分析(Regression analysis) –
确定两个变量间的依赖关系。这种方法假设两个变量之间存在单向的因果关系(译者注：自变量，因变量，二者不可互换)
RFID – 射频识别; 这种识别技术使用一种无线非接触式射频电磁场传感器来传输数据
实时数据(Real-time data) – 指在几毫秒内被创建、处理、存储、分析并显示的数据
推荐引擎(Recommendation engine) – 推荐引擎算法根据用户之前的购买行为或其他购买行为向用户推荐某种产品
路径分析(Routing analysis) –
针对某种运输方法通过使用多种不同的变量分析从而找到一条最优路径，以达到降低燃料费用，提高效率的目的
S
半结构化数据(Semi-structured data) –
半结构化数据并不具有结构化数据严格的存储结构，但它可以使用标签或其他形式的标记方式以保证数据的层次结构
情感分析(Sentiment Analysis) – 通过算法分析出人们是如何看待某些话题
信号分析(Signal analysis) – 指通过度量随时间或空间变化的物理量来分析产品的性能。特别是使用传感器数据。
相似性搜索(Similarity searches) – 在数据库中查询最相似的对象，这里所说的数据对象可以是任意类型的数据
仿真分析(Simulation analysis) –
仿真是指模拟真实环境中进程或系统的 *** 作。仿真分析可以在仿真时考虑多种不同的变量，确保产品性能达到最优
智能网格(Smart grid) – 是指在能源网中使用传感器实时监控其运行状态，有助于提高效率
软件即服务(SaaS: Software-as-a-Service) – 基于Web的通过浏览器使用的一种应用软件
空间分析(Spatial analysis) – 空间分析法分析地理信息或拓扑信息这类空间数据，从中得出分布在地理空间中的数据的模式和规律
SQL – 在关系型数据库中，用于检索数据的一种编程语言
结构化数据(Structured data)
-可以组织成行列结构，可识别的数据。这类数据通常是一条记录，或者一个文件，或者是被正确标记过的数据中的某一个字段，并且可以被精确地定位到。
T
T字节(TB: Terabytes) – 约等于1000 GB(gigabytes)。1 TB容量可以存储约300小时的高清视频。
时序分析(Time series analysis) –
分析在重复测量时间里获得的定义良好的数据。分析的数据必须是良好定义的，并且要取自相同时间间隔的连续时间点。
拓扑数据分析(Topological Data Analysis) –
拓扑数据分析主要关注三点：复合数据模型、集群的识别、以及数据的统计学意义。
交易数据(Transactional data) – 随时间变化的动态数据
透明性(Transparency) – 消费者想要知道他们的数据有什么作用、被作何处理，而组织机构则把这些信息都透明化了。
U
非结构化数据(Un-structured data) – 非结构化数据一般被认为是大量纯文本数据，其中还可能包含日期，数字和实例。
V
价值(Value) – (译者注：大数据4V特点之一)
所有可用的数据，能为组织机构、社会、消费者创造出巨大的价值。这意味着各大企业及整个产业都将从大数据中获益。
可变性(Variability) – 也就是说，数据的含义总是在(快速)变化的。例如，一个词在相同的推文中可以有完全不同的意思。
多样(Variety) – (译者注：大数据4V特点之一)
数据总是以各种不同的形式呈现，如结构化数据，半结构化数据，非结构化数据，甚至还有复杂结构化数据
高速(Velocity) – (译者注：大数据4V特点之一) 在大数据时代，数据的创建、存储、分析、虚拟化都要求被高速处理。
真实性(Veracity) – 组织机构需要确保数据的真实性，才能保证数据分析的正确性。因此，真实性(Veracity)是指数据的正确性。
可视化(Visualization) –
只有正确的可视化，原始数据才可被投入使用。这里的“可视化”并非普通的图型或饼图，可视化指是的复杂的图表，图表中包含大量的数据信息，但可以被很容易地理解和阅读。
大量(Volume) – (译者注：大数据4V特点之一) 指数据量，范围从Megabytes至Brontobytes
W
天气数据(Weather data) – 是一种重要的开放公共数据来源，如果与其他数据来源合成在一起，可以为相关组织机构提供深入分析的依据
X
XML数据库(XML Databases) –
XML数据库是一种以XML格式存储数据的数据库。XML数据库通常与面向文档型数据库相关联，开发人员可以对XML数据库的数据进行查询，导出以及按指定的格式序列化
Y
Y字节 (Yottabytes) – 约等于1000 ZB (Zettabytes),
约等于250万亿张DVD的数据容量。现今，整个数字化宇宙的数据量为1 YB, 并且将每18年翻一番。
Z
Z字节 (ZB: Zettabytes) – 约等于1000 EB (Exabytes), 约等于1百万
TB。据预测，到2016年全球范围内每天网络上通过的信息大约能达到1 ZB。
附：存储容量单位换算表：
1 Bit(比特) = Binary Digit
8 Bits = 1 Byte(字节)
1,000 Bytes = 1 Kilobyte
1,000 Kilobytes = 1 Megabyte
1,000 Megabytes = 1 Gigabyte
1,000 Gigabytes = 1 Terabyte
1,000 Terabytes = 1 Petabyte
1,000 Petabytes = 1 Exabyte
1,000 Exabytes = 1 Zettabyte
1,000 Zettabytes = 1 Yottabyte
1,000 Yottabytes = 1 Brontobyte
1,000 Brontobytes = 1 Geopbyte

窄带物联网技术。
NBIOT物联网弱终端检测是指窄带物联网技术。NBIOT聚焦于低功耗广覆盖物联网市场，是一种可在全球范围内广泛应用的新兴技术。
NBIOT属于低功耗广域网，主要针对的是传输数据量小，对功耗要求高，而且数量巨大的设备或物品。

随着大数据越来越火，企业们都开始纷纷使用大数据来解决问题。在大数据的解决方案中，有一个十分典型的案例，那就是物联网。其实物联网现在早就不是什么新兴的概念了，物联网现在有很多的成品已经进入了我们的生活中。在这篇文章中我们就重点为大家介绍一下关于物联网架构的相关知识。
1物联网的架构
物联网是有设备、现场网关、云网关、应用程序后端组成，物联网涉及到了云计算、大数据、嵌入式、单片机等内容，而云网关使用可靠、低延迟的消息传递系统在云边界引入设备事件。设备可能会直接将事件发送到云网关，或通过现场网关发送。现场网关是一种专用设备或软件，通常与接收事件并将事件转接到云网关的设备位于同一位置。现场网关也可预处理原始设备事件，执行过滤、聚合或协议转换等功能。当这个消息引入后，事件将通过一个或多个流处理器，此处理器可将数据路由到存储等位置，也可执行分析和其他处理。这样就是物联网架构工作原理。
2物联网常见处理类型
物联网的常见的处理类型具体就是将事件数据写入冷存储，用于存档或批处理分析。然后就是热路径分析，实时或者近乎实时分析事件流，以检测异常，识别滚动时间范围内的模式，或者在流中出现特殊情况时触发警报。而在处理设备的过程中处理设备中特殊类型的非遥测消息，比如通知和警报。这里还涉及到到了机器学习。通过控制物联网系统的组件去进行设备的运转。
3物联网中有什么是需要注意的？
上面所提到的组件与事件流式传输没有直接关系，而设备注册表是预配设备的数据库，包括设备ID和常见的设备元数据，如位置信息。而预配 API 是一种常见的外部接口，用于预配和注册新设备。某些物联网的解决方案可使命令和控制消息发送到设备。这样就是物联网的常见处理类型。
在这篇文章中我们给大家介绍了大数据中物联网的架构和常见的处理类型的内容。物联网是现在科技发展的一个方向，有很多的生活用品都实现了万物相联，可见物联网的使用广度还是非常厉害的，有意向往这方面发展的朋友，一定要好好努力哟，相信将来一定学有所成，得到自己想要的人生。

---