物联网解决方案中的大数据处

作者 | 网络大数据

来源 | raincent_com

随着物联网的演变和发展，所有可以想象到的东西(或事物)和产业都将变得更加智能：智能家居和智慧城市、智能制造机械、智能汽车、智能健康等等。无数被授权收集和交换数据的东西正在形成一个全新的网络——物联网——一个可以在云中收集数据、传输数据和完成用户任务的物理对象网络。

物联网和大数据正在走向胜利之路。不过，要想从这一创新中获益，还需要解决一些挑战和问题。在本文中，我们很高兴与大家分享多年来在物联网咨询领域积累的知识。

物联网大数据如何应用

首先，有多种方法可以从物联网大数据中获益：在某些情况下，通过快速分析就足够了，而一些有价值的见解只有在经过深入的数据处理之后才能获得。

实时监测。通过连网设备收集的数据可以用于实时 *** 作：测量家中或办公室的温度、跟踪身体活动(计算步数、监测运动)等;实时监测在医疗保健中被广泛应用(例如，获取心率、测量血压、糖分等);它还成功地应用于制造业(用于控制生产设备)、农业(用于监测牛和作物)和其他行业。

数据分析。在处理物联网生成的大数据时，我们有机会超越监测，并从这些数据中获得有价值的见解：识别趋势，揭示看不见的模式并找到隐藏的信息和相关性。

流程控制和优化。来自传感器的数据提供了额外的上下文情境信息，以揭示影响性能和优化流程的重要问题。

▲交通管理：跟踪不同日期和时间的交通负荷，以制定出针对交通优化的建议，例如，在特定时间段增加公共汽车的数量，看看是否有改观，以及建议引入新的交通信号灯方案和修建新的道路，以减少街道的交通拥堵状况。

▲零售：跟踪超市货架中商品的销售情况，并在商品快卖完之前及时通知工作人员补货。

▲农业：根据传感器的数据，在必要时给作物浇水。

预测性维护。通过连网设备收集的数据可以成为预测风险、主动识别潜在危险状况的可靠来源，例如：

▲医疗保健：监测患者健康状态并识别风险(例如，哪些患者有糖尿病、心脏病发作的风险)，以便及时采取措施。

▲制造业：预测设备故障，以便在故障发生之前及时解决。

还应注意的是，并非所有的物联网解决方案都需要大数据(例如，如果智能家居拥有者要借助智能手机来关灯，则可以在没有大数据的情况下执行此 *** 作)。重要的是要考虑减少处理动态数据的工作量，并避免存储将来没有用处的大量数据。

物联网中的大数据挑战

除非处理大量数据以获取有价值的见解，否则这些数据完全没用。此外，在数据收集、处理和存储方面还有各种挑战。

▲数据可靠性。虽然大数据永远不会100%准确，但在分析数据之前，请务必确保传感器工作正常，并且用于分析的数据质量可靠，且不会因各种因素(例如，机器运行的不利环境、传感器故障)而损坏。

▲要存储哪些数据。连网设备会产生万亿字节的数据，选择存储哪些数据和删除哪些数据是一项艰巨的任务。更重要的是，一些数据的价值还远远没有显现出来，但将来您可能需要这些数据。如果您决定为将来存储数据，那么面临的挑战就是以最小的成本做到这一点。

▲分析深度。一旦并非所有大数据都很重要，就会出现另一个挑战：什么时候快速分析就足够了，什么时候需要进行更深入的分析以带来更多价值。

▲安全。毫无疑问，各个领域的连网事物可以让我们的生活变得更加美好，但与此同时，数据安全也成一个非常重要的问题。网络罪犯可以侵入数据中心和设备，连接到交通系统、发电厂、工厂，并从电信运营商那里窃取个人数据。物联网大数据对于安全专家来说还是一个相对较新的现象，相关经验的缺失会增加安全风险。

物联网解决方案中的大数据处理

在物联网系统中，物联网体系架构的数据处理组件因输入数据的特性、预期结果等而不同。我们已经制定了一些方法来处理物联网解决方案中的大数据。

数据来自与事物相连的传感器。“事物”可以是任何物体：烤箱、汽车、飞机、建筑、工业机器、康复设备等。数据可以是周期性的，也可以是流式的。后者对于实时数据处理和迅速管理事物至关重要。

事物将数据发送到网关，以进行初始数据过滤和预处理，从而减少了传输到下一个物联网系统中的数据量。

边缘分析。在进行深入数据分析之前，有必要进行数据过滤和预处理，以选择某些任务所需的最相关数据。此外，此阶段还可以确保实时分析，以快速识别之前在云中通过深度分析所发现的有用模式。

对于基本协议转换和不同数据协议之间的通信，云网关是必需的。它还支持现场网关和中央物联网服务器之间的数据压缩和安全数据传输。

连网设备生成的数据以其自然格式存储在数据湖中。原始数据通过“流”进入数据湖。数据保存在数据湖中，直到可以用于业务目的。清理过的结构化数据存储在数据仓库中。

机器学习模块根据之前积累的历史数据生成模型。这些模型定期(例如，一个月一次)用新数据流更新。输入的数据被累积并应用于训练和创建新模型。当这些模型经过专家的测试和批准后，控制应用程序就可以使用它们，以响应新的传感器数据发送命令或警报。

总结

物联网产生大量数据，可用于实时监控、分析、流程优化和预测性维护等。然而，应该记住，从各种格式的海量数据中获得有价值的见解并不是一件容易事情：您需要确保传感器工作正常，数据得到安全传输和有效处理。此外，始终存在一个问题：哪些数据值得存储和处理。

尽管存在一些挑战和问题，但应记住，物联网的发展势头强劲，并可以帮助多个行业的企业开辟新的数字机遇。

从领域来看，包括速度和馈送、未授权频谱使用、物联网设备、虚拟化、新空口(NR)这五个领域将引领4G到5G转变。其中有四个将促使这一转变通过被称为LTE-Advanced Pro(45G)的中间阶段过渡，使得这场革命更具渐进色彩。
速度和馈送
接入技术将从4G的1Gbps增加到5G每个区域20Gbps吞吐率/下行链路速率。达到这个速度需要从45G开始经历多个阶段。45G已在目前的规范中有所定义，它使用载波聚合(多达32个载波)、高达16根天线的大规模MIMO和更高阶的调变方案(如256QAM)等多种技术，可以实现3Gbps速率。
未授权频谱使用
为实现更高的吞吐率要求，授权载波频谱不够用，因此Wi-Fi多年来一直在使用未授权频谱，而Wi-Fi有很多非授权频谱可以被LTE利用，但是需要为获得更好质量和规范化接入而进行技术改进。例如使用低密度极性校验码(LDPC)等极性码进行纠错；更高阶的QAM以提高数据速率，Wi-Fi目前可以实现256QAM，且即将达到1,024QAM；4×4 MIMO和多用户MIMO，可增加吞吐率并与更多用户同时工作。此外将载波聚合的概念扩展到未授权载波(与Wi-Fi中使用的频谱相同)，将能为营运商提供更多选择来增加小区带宽。
物联网设备
物联网设备对5G提出了各种需求和挑战。海量而碎片化的物联网设备接入对5G网络的承载能力是个巨大的考验。永远在线、低功耗待机、实时唤醒等不频繁、小数据量却需快速响应的要求对5G网络的规划也是个难题。此外物联网设备安全问题也越来越凸显。
网络功能虚拟化(NFV)和软件定义网络(SDN)
5G网络由于所涉范围两端的极端需求(包括偶尔发送几个字节，以及不同用例数据量大幅增加)，创造了与虚拟化网络功能相结合的强大需求。为满足不同用户设备需求，业界现在已开始向虚拟化和网络切分迈进，并将在部署5G网络同时获得助力。
新空口
5G新空口尚未标准化，并将需要一种新的无线接入技术，而将速度提高到20Gbps。它需要使用新的毫米波(mmWave)频段。5G新空口所讨论的两件大事是：支持灵活的底层OFDM技术，以及支持大规模MIMO，从而实现毫米波频谱使用。
在以上五个领域的关键技术中，只有5G新空口是属于真5G的，另外四个领域在45G规范中都有确凿起点，

云计算出现的初衷是以网络为依托解决特定大规模数据处理问题，因此它被业界认为是支撑物联网后端的最佳选择，云计算为物联网提供后端处理能力与应用平台，为众多用户提供了一种新的高效率计算模式，兼有互联网服务的便利、廉价和大型机的能力。

规模化是云计算的核心指标。PC时代，用户以亿为单位计算，移动互联网时代，用户以10亿为单位计算，而在物联网时代，节点数以100亿为单位计算。在PC互联网时代诞生的云计算平台，勉强可支持移动互联网时代，但物联网时代的超大数据流量，就无能为力的，这就需要大型和超大型的网站系统为网站的基础设置提供创新的转折点。

根据设备节点数的增长趋势，将来的数据存储量每两年增加一倍。而且这些设备产生数据量远大于PC和手机，因为这些设备是在记录人类数字化生活，产生的数据将是天量，譬如DropCam产生的视频量，远远超过Youtube一天上传的视频量。我们可以预见在不远的将来，超大流量数据处理将成为对于云计算的挑战！

物联网其实是互联网的一个延伸，未来的物联网的发展还是依靠强大的云计算平台，为人们提供最佳最优的问题解决方案。

物联网实现全球亿万种物品之间的互连，将不同行业、不同地域、不同应用、不同领域的物理实体按其内在关系紧密地关联在一起，对小到螺丝、铅笔，大到飞机、轮船等巨量物体进行联网与互动。物联网能够实现社会活动和人们生活方式的变革。

物联网并不是单纯的，它包括信息的感知、传输、处理决策、服务等多个方面，呈现出自身显著的特点；智慧信息处理和决策、人与物的互动、等物联网与实体间的泛在互联，错综复杂，所有物联网收集和处理的信息最终要依靠强大云计算平台来完成数据的处理决策并输出最优解决方案回馈给终端。

物联网分成三个层次，一个是应用层，还有一个网络层，还有感知层。未来的物联网应该是一个由云+端组成的一个庞大网络，随着传感器网络大规模部署，各种终端就像蓝海一样，分布到各种各样基础设施上收集信息，在通过各种网络将这些信息发送到云端进行计算和处理，经过计算和处理的信息最后到了应用层为不同的领域各种各样行的支撑服务。

物联网市场调研情况、物联网行业前景及现状怎么样物联网市场得益于外部动力和内生动力的不断丰富，物联网应用场景迎来大范围拓展，智慧政务、智慧产业、智慧家庭、个人信息化等方面产生大量创新性应用方案，物联网技术和方案在各行业渗透率不断加速。

物联网市场调研情况、物联网行业前景及现状怎么样物联网市场得益于外部动力和内生动力的不断丰富，物联网应用场景迎来大范围拓展，智慧政务、智慧产业、智慧家庭、个人信息化等方面产生大量创新性应用方案，物联网技术和方案在各行业渗透率不断加速。物联网的来临使得“万物”都产生了上网的需求，但物联网产业链条十分冗长，从行业客户发展的必要情况来看，他们的优势集中在自己所深耕的垂直行业中。

2022物联网行业报告及市场浅析

目前物联网通信能力已经在过去2G、3G、4G的基础上得到拓展，诞生了更加符合物联网连接需求的NB-IoT、Cat1等技术。

近年来，物联网技术得以不断积累与升级，产业链也逐渐完善和成熟，加之受基础设施建设、基础性行业转型和消费升级等周期性因素的驱动，处于不同发展水平的领域和行业交替式地不断推进物联网的发展，带动了全球物联网行业整体呈现爆发式增长态势。

物联网是建立在互联网基础上的网络发展的一个新阶段。它可以通过各种有线或无线网络与互联网融合，广泛应用于网络的融合中，也因此被称为继计算机、互联网之后世界信息产业发展的第三次浪潮。

物联网 行业产值、增长率分析

目前全球物联网产值大约15万亿美元左右，其年均增长率接近23%，预计2021年以后物联网增速有望达到30%，到2025年，全球物联网产值将达到30万亿美元的体量。

中国是物联网应用实践和创新开发最多的国家，中国占到了全球物联网产值的1/4左右;其中一个主要原因在于，中国已完成5G基站超70万个，预计2021年年产值超27万亿人民币。 此外物联网产生3440亿美元的额外收入，同时还会降低1770亿美元的经营成本。

物联网的关键核心优势是实现万物互联，因此车联是物联网发展重点，以车联网为例，2025年5G联网车辆将超过6千万，100%新车都将连接网络，车联网市场空间无可估量。

物联网 市场规模

中国是物联网应用实践和创新开发最多的国家，中国占到了全球物联网产值的1/4左右;其中一个主要原因在于，中国已完成5G基站超70万个，预计2021年年产值超27万亿人民币。此外，2020年物联网产生3440亿美元的额外收入，同时还会降低1770亿美元的经营成本。物联网和智能设备已经在提高全球主要工厂的性能指标，并将生产率水平提高40-60%。

预计“十四五”期间，我国物联网产业仍然保持高速增长， 物联网 年均复合增长率约达23%-26%。2021年作为“十四五”的开启之年，将迎来发展新时期。

全球物联网市场规模约达136万亿美元，物联网产业力量不断丰富。当前，全球物物联网核心技术持续发展，标准体系加快构建，产业体系处于建立和完善过程中。未来几年，全球物联网市场规模将出现快速增长。

《2022-2027年中国物联网行业市场深度调研及投资策略预测报告》由中研普华研究院撰写，物联网报告对我国行业的供需状况、物联网发展现状、子行业发展变化等进行了分析，重点分析了物联网行业的发展现状、如何面对物联网行业的发展挑战、物联网行业的发展建议、物联网行业竞争力，以及行业的投资分析和趋势预测等等。物联网报告还综合了行业的整体发展动态，对物联网行业在产品方面提供了参考建议和具体解决办法。

摘要：物联网作为一种新的网络形式，相关理论研究和实践应用正在探索过程中。本文介绍了物联网的概念，给出了基于智能物体层、数据传输层、信息关联层、应用服务层的物联网四层体系架构，最后探讨了物联网在实现过程中所面临的问题和挑战。
关键词：物联网，RFID
一、概念
物联网（Internet of Things）这个概念最早由麻省理工的Auto-ID中心在1999年提出，其基本想法是将RFID和其他传感器相互连接，形成RFID架构的分布式网络。
欧洲委员会[1]提出“物联网是未来因特网的综合部分之一，可以被定义为一个动态的全球网络基础。基于标准的和互 *** 作的通信协议，无论物理的还是虚拟的“物”均有身份、物理属性和虚拟特质，具备自配置能力且使用智能接口，可以无缝地集成到信息网络中去。”
本文认为，物联网实质上是将真实世界映射到虚拟世界的过程：真实世界中的事物，通过传感器采集一定的数据，在虚拟世界中形成与之对应的事物。“相关物体可能在虚拟电子空间中被创造出来，源于物理物体空间，且与物理空间的物体有关联。”[2]传感器采集到数据的详细程度，将影响到该事物在虚拟世界中的抽象程度。在虚拟世界中，对该事物最简单也最重要的描述是物体提供了一个ID用于识别（如使用RFID标签），最详细的描述则是真实世界中该事物的所有属性和状态均可在虚拟世界中被观察到。进一步的，在虚拟世界中对该物体做出控制，则可通过物联网改变真实世界中该物体的状态。对于一个真实的事物，其所需的各种应用与 *** 作，只需在虚拟世界中对与之对应的虚拟事物进行应用和 *** 作，即达到目的。
这样将会对世界带来巨大的改变：实地实时监测和控制一个事物的成本是高昂的，通过物联网，所有事物都将在虚拟世界中被找到，以较低的成本被监测和控制，从而实现4A（anytime, any place, anyone, anything）[3]连接。虚拟世界提供了对所有事物的实时追踪的可能，所有的信息都不是孤立的，这将为各种海量运算和分析提供了最基础和最重要的信息源。真实世界存在于某一时刻，而当物联网发展到能将真实世界中的所有事物都映射到虚拟世界中时，无数个某一时刻的世界汇集起来，在虚拟世界中将形成一个可以追溯的历史，如同过去以纸质保存历史事件的发生，将来将以电子数据对所有事物进行全息描述的形式存储世界的历史。
二、体系架构
目前, 物联网还没有一个广泛认同的体系结构，最具代表性的物联网架构是欧美支持的EPCglobal和日本的UID物联网系统。EPC系统由EPC 编码体系、射频识别系统和信息网络系统3 部分组成。UID 技术体系架构由泛在识别码(uCode)、泛在通信器、信息系统服务器、和ucode 解析服务器等4部分构成。EPCglobal 和UID上只是RFID 标准化的团体，离全面的“物联网”体系架构相去甚远。
美国的IBM公司在2008年提出“智慧的地球”这一与物联网概念相近的概念，并提出通过INSTRUMENTED，INTERCONNECTED和INTELLIGENT这三个层面来实现智慧地球。在文献基础上，本文提出了物联网体系架构。
1、智能物体层：通过传感器捕获和测量物体相关数据，实现对物理世界的感知。同时具备局部的互动性，需要一定的存储和计算能力。
2、数据传输层：以有线或无线的方式实现无缝、透明、安全的接入，提供并实施编码、认知、鉴权、计费等管理。
3、信息关联层：通过云计算实施对海量数据的存储和管理、数据处理与融合，屏蔽其异质性与复杂性，形成一个与真实世界对应的虚拟世界。
4、应用服务层：从虚拟世界中提取信息，提供丰富的面向服务的应用。如智能交通、智能电网、智能医疗等等。
需要指出的是，数据由底部的传感器通过网络到达应用服务层面，而实际上，在服务应用层面，各个中心、用户可以反向的通过网络由执行器对物体进行控制。
在该体系结构中，感知层面的各种传感器、执行器都是具体的，随着技术的发展会不断升级，新设备不断引入物联网。而服务应用层的各种需求也是不断提出的，并不是一层不变的。若是每个具体的服务应用和传感设备都形成一个独立的网络，最后可能形成许多套特殊的网络，这不利于推广和不便于维护。因此这需要物联网的网络层有一定前瞻性，物体设备层可以变化，服务应用层可以变化，但它们都是通过一个普适的网络进行连接，这个网络可以在一定的时间内保持稳定。
三、面临的挑战
1、统一标准
物联网其实就是利用物体上的传感器和嵌入式芯片，将物质的信息传递出去或接收进来，通过传感网络实现本地处理，并联入到互联网中去。由于涉及到不同的传感网络之间的信息解读，所以必需有一套统一的技术协议与标准，而且主要是集中在互联上，而不是传感器本身的技术协议。现在很多所谓的物联网标准，实际上还是将物联网作为一种独立的工业网络来看待的具体技术标准，而应对互联需要的技术协议，才是真正实现物联网的关键。
2、安全、隐私
在物联网中所有“事物”都连接到全球网络，彼此间相互通信，这也带来了新的安全和隐私问题，例如可信度，认证，以及事物所感知或交换到的数据的融合。人和事物的隐私应该得到有效保障，以防止未授权的识别和攻击。安全与隐私这个问题，是人类社会的问题，不论是物联网还是其他技术，都是面临这两个问题。因此，不仅要从物联网内部的技术上做出一定的控制，而且要从外部的法规环境上作出一定的司法解释和制度完善。
参考文献
1 Commission, IDE, Internet of things Strategic Research Roadmap 2009
2 CASAGRAS Final Report: RFID and the inclusive model for the Internet of things 2010
3 ITU Internet Reports 2005: The Internet of Things 2005, ITU

---