论文阅读01-流量模型

网络流量建模有着广泛的应用。在本文中，我们提出了网络传输点过程(NTPP)，这是一种 概率深层机制 ，它可以模拟网络中主机的流量特性，并有效地预测网络流量模式，如负载峰值。现有的随机模型依赖于网络流量本质上的自相似性，因此无法解释流量异常现象。这些异常现象，如短期流量爆发，在某些现代流量条件下非常普遍，例如数据中心流量，从而反驳了自相似性的假设。我们的模型对这种异常具有鲁棒性，因为它使用时间点流程模型有效地利用了突发网络流量的自激特性。
在从网络防御演习(CDX)、网站访问日志、数据中心流量和P2P流量等领域收集的7个不同的数据集上，NTPP在根据几个基线预测网络流量特性(从预测网络流量到检测流量峰值)方面提供了显著的性能提升。我们还演示了我们的模型在缓存场景中的一个应用程序，表明可以使用它来有效地降低缓存丢失率。

对新型网络应用和系统的需求日益增长， 使得网络流量行为更加复杂和不可预测 。例如，在数据中心网络中，流量微爆发源于应用程序[1]的突然流行，而在副本[2]间的信息同步过程中产生的大象流会在骨干网络上造成临时的负载不均衡。另一方面，由于不同的终端用户活动模式[3]，诸如多媒体流媒体和视频会议等流量密集型应用导致了蜂窝网络和移动网络上的巨大流量差异。这种流量差异影响最终用户应用程序[4]的体验质量(QoE)。此外，随着基于Internet小型计算机系统接口(iSCSI)的分布式存储[5]和物联网(IoT)应用[6]的大规模地理分布式云存储同步的迅速普及，网络流量变异性成倍增加。各种安全攻击，如分布式拒绝服务攻击(DDoS)，加剧了流量模式预测[7]的假阴性问题。
由于应用范围的多样化，短期和长期的流量爆发在各种类型的网络中都很常见；因此，研究人员探索了不同的 基于突发周期性假设 的流量突发预测技术，如 流量矩阵[8]的部分可预测性 、 张量补全方法 [9]等。然而，最近网络流量的高度不均匀性 使这种流量突发周期性的假设失效，并导致了明显的流量差异和多重分形流量变化 ，这需要单独的检测工作。这种交通差异和多重分形的例子包括数据中心或或ISP骨干[11]网中流量的突发峰值(微突发)[10]、多媒体应用的流量(如视频流媒体)[12]、存储同步[13]、恶意或攻击流量(例如物联网设备中的DDoS攻击)[7]。因此，需要开发一个流量事件预测模型，该模型可以捕获诸如流量突发、突发峰值、主机带宽使用的意外跳变等流量差异和多重分形流量变化。
在这项工作中，我们旨在 将差异性和可变性检测集成到网络流量建模中 ，从而为高度异常的网络流量提供统一的模型。为此，我们按照单独的网络主机（例如数据中心服务器或终端用户设备）的传输特性来分解流量预测问题，在此我们着重于总网络带宽的份额每个主机使用的时间，称为给定时间的“优势”。为此，我们提出了网络传输点过程（NTPP），它是一种基于时间点过程机制的深度概率机制。 NTPP首先使用 循环标记时间点过程 （RMTPP）表征主机突发流量产生的事件[14]，该过程结合了主机的影响以根据可用带宽转发流量突发。此外，我们使用一组学习来对任意给定时间内对网络中不同主机进行排序的模板进行 排序 ，从而对不同主机之间的争用进行建模，其中主机的排序由其生成的通信量决定。这些模板提供了各种方法来评估一对主机的相对顺序，这些顺序是由它们的争用过程引起的。这些措施，连同底层的包传输过程，确保在整个时间窗口内主机之间的正确排序。为了了解传输动态以及排名的变化，我们将给定主机的观测传输时间的似然性最大化，并结合学习对模板进行排名的其他措施进行统一。这种额外的小工具使我们的模型能够预测意外的峰值，带宽使用量的跳跃，否则很难追踪（实验着重证明了这一点）。
我们根据来自不同域的 七个 真实数据集上的几个最新基准评估了我们的系统，这些数据集可能会显示异常流量。其中四项是从各个组织进行的网络防御演习中获得的，一项是从网站访问日志（1998年世界杯Web服务器）获得的，另一项是从数据中心流量的获得的，另一项是从BitTorrent网络获得的。我们观察到，在预测主机流量方面，NTPP的平均性能比最具竞争力的基准好11％，而在检测主机带宽消耗的突然跳升或峰值时，NTPP的预测精度提高了约25％。我们还使用基于NTPP的模拟器实现了下游缓存应用程序，并且观察到缓存未命中率降低了约10％。
贡献 ：
(1) 复杂包传输过程建模 ：我们设计了NTPP，这是一个多主机网络流量动态的非线性随机模型，能够准确地捕捉到包传输过程中攻击性跳跃和不规则行为的存在。此外，与现有的离散时间流量模型(如[9]、[15])相比，我们使用了时间点过程的连续时间特性。
(2) 主机间的争用建模 ：我们的NTPP方案利用了[16]中提出的产品竞争建模思想，将丰富的学习文献与网络流量建模联系起来，对[17]其进行排名。
(3) 预测能力 :NTPP不仅具有理论基础，而且具有实践效果。我们的模型能够比几种最先进的基准更有效地预测分组传输动态。此外，嵌入式鉴别模块有助于实时估计带宽消耗的突然变化，这是一个至关重要的实际挑战，所有基准都无法追踪。
(4) 下游应用 ：我们演示了NTPP在下游缓存场景中的应用，突出了它的实用性。现有的原始内容缓存由于突发的流量而存在较高的缓存丢失率，而我们的模型支持的智能内容缓存通过根据不同主机的预测流量为它们保留不同数量的内存空间来实现更好的性能。

从历史上看，大量的工作集中在从各种不同的角度对万维网流量进行建模，使用各种分布模型，如泊松、帕累托、威布尔、马尔科夫和嵌入式马尔科夫、ON-OFF等。随着互联网的发展和各种Web服务的引入，提出了更复杂的模型，如马尔科夫调制泊松过程[19]、马尔科夫调制流体模型[20]、自回归模型[21]、流量矩阵[8]的部分可预测性、张量补全方法[9]等。然而， 这些模型只能捕获特定类型的网络事件，而不能泛化为捕获Internet流量中的不同流量差异和变化 。在另一个独立的线程中，研究人员将互联网流量爆发建模为一种显示自相似性[22]的现象。然而，许多工作23]，[24]也质疑“自相似性”的假设，特别是在互联网骨干网中，从多个来源的流量会得到多路复用。
随着大规模数据中心、基于物联网的平台、蜂窝网络和移动网络、信息中心网络等领域的出现，互联网流量的性质发生了巨大变化。因此，出现了各种领域特有的模型，如数据中心[15]的流量微突发预测、流量异常检测[25]、物联网流量表征[26]、互联网社交事件预测[27]等。此外，由于网络流量在不同的差异和变化下具有不同的性质，最近的一些工作探索了基于机器学习的技术来预测流量模式[12]、[28]、[29]中的不同事件、异常和不一致性。然而， 这种预测模型是针对特定的网络系统设计的，缺乏通用性 。

在本节中，我们将制定NTPP，即所提出的模型(参见图1)，该模型捕获了网络流量动态的两个主要组成部分—(i)集体包传输机制和(ii)多个主机之间的争用。在一开始，NTPP是由一种基于点过程的深层概率机制驱动的——点过程是一种特殊类型的随机过程，它自然地捕获了连续数据包到达背后的机制。此外，它还包含一个判别模块，该模块包含一系列对函数[17]进行排序的学习，专门设计用于建模主机间争用过程。接下来，我们将从时间点过程的概述开始，详细描述它们，然后描述学习和预测动态的方法。

物联网的发展前景很不错，具体如下：
1更安全的保护措施。在新技术出现之初，它的技术力量几乎都集中在创新上，导致监管水平低下，这就使业界的兴奋、激进和政策、监管的滞后常常形成鲜明的对比。由于物联网设备和基础设施的价格下降，企业在物联网设备上的应用也越来越普遍，这种创新和应用一旦普及，各种新技术的风险也突显出来。
2更普遍使用智能消费品设备。IoT所覆盖的行业人群广泛，从智慧交通、智能物流、医疗、农业、能源等行业应用，到私人智能家居、个人、智能汽车等应用，无论是降低成本，还是提高中国居民的生活质量，都将是中国居民生活质量的巨大提升。

行业主要企业：大富科技(300134)、梦网集团(002123)、共进股份(603118)、胜宏科技(300476)、润和软件(300339)、立昂技术(300603)

行业概况

1、定义

所谓“物联网”(Internet of
Things，IOT)，又称传感网，指的是将各种信息传感设备，如射频识别(RFID)装置、红外感应器、全球定位系统、激光扫描器等种种装置与互联网连接起来并形成一个可以实现智能化识别和可管理的网络。

早期的物联网是指依托射频识别技术的物流网络，随着技术和应用的发展，物联网的内涵已经发生了较大的变化。现阶段，物联网是指在物理世界的实体中部署具有一定感知能力、计算能力和执行能力的各种信息传感设备，通过网络设施实现信息传输、协同和处理，从而实现广域或大范围的人与物、物与物之间信息交换需求的互联。物联网依托多种信息获取技术，包括传感器、射频识别(RFID)、二维码、多媒体采集技术等。物联网的几个关键环节可以归纳为“感知、传输、处理”。

2、产业链剖析：共有四大层面

所谓产业链，是以生产相同或相近产品的企业集合所在产业为单位形成的价值链，是承担着不同的价值创造职能的相互联系的产业围绕核心产业，通过对信息流、物流、资金流的控制，在采购原材料、制成中间产品以及最终产品、通过销售网络把产品送到消费者手中的过程中形成的由供应商、制造商、分销商、零售商、最终用户构成的一个功能链结构模式。

从产业链条来看，物联网的产业链条由上而下可以分为感知层、传输层、平台层和应用层四个层级。

自2018年中美贸易摩擦以来，美国加大了对中国高新技术出口的限制，不断扩大实体清单，影响了中国一些科技主导型企业的发展，这从侧面警示了中国在全球供应链中地位的脆弱性。物联网通过传感器把物理世界与数字世界联系起来，实现物与物、物与人的泛在连接，实现对物品和过程的智能化感知、识别和管理。其中传感器作为数据采集的源头，已经成为各种应用能力所需的数据来源所在。目前中国国内也涌现出了一些传感器芯片重点生产企业，如：高德红外、西人马、士兰微、敏芯微电子、博通、全志科技、大唐微电子、复旦微电子等。

行业发展历程：处于市场验证期

物联网是通过射频识别(RFID)、红外感应器、全球定位系统、激光扫描器等 信息传感设备，按约定的协议，把任何物体与因特网连接起来，进行信息交换
和通信，以实现智能化识别、定位、跟踪、监控和管理的一种网络。物联网发 展历史悠久，可分为三个阶段：

行业政策背景：政策大力推进

“十三五”以来，国家重视物联网产业建设及物联网成果应用，出台多度政策意见来推动物联网产业发展。在“十三五”以来发布的行业政策中，以推动物联网成果应用为主，利用物联网技术加强信息交换、提高监督管理水平等。

根据最新发布的《中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要》，在“十四五”期间，明确新基建，还要让5G用户普及率提高到56%。并且5次提到关于物联网的规划发展，除了划定数字经济的7大重点产业外，其余4次提到的场合均体现出对物联网发展重点的表述。

十四五规划中划定了7大数字经济重点产业，包括云计算、大数据、物联网、工业互联网、区块链、人工智能、虚拟现实和增强现实，这7大产业也将承担起数字经济核心产业增加值占GDP超过10%目标的重任。

以上数据参考前瞻产业研究院《中国物联网行业细分市场需求与投资机会分析报告》。

---