物联网解决方案中的大数据处

作者 | 网络大数据

来源 | raincent_com

随着物联网的演变和发展，所有可以想象到的东西(或事物)和产业都将变得更加智能：智能家居和智慧城市、智能制造机械、智能汽车、智能健康等等。无数被授权收集和交换数据的东西正在形成一个全新的网络——物联网——一个可以在云中收集数据、传输数据和完成用户任务的物理对象网络。

物联网和大数据正在走向胜利之路。不过，要想从这一创新中获益，还需要解决一些挑战和问题。在本文中，我们很高兴与大家分享多年来在物联网咨询领域积累的知识。

物联网大数据如何应用

首先，有多种方法可以从物联网大数据中获益：在某些情况下，通过快速分析就足够了，而一些有价值的见解只有在经过深入的数据处理之后才能获得。

实时监测。通过连网设备收集的数据可以用于实时 *** 作：测量家中或办公室的温度、跟踪身体活动(计算步数、监测运动)等;实时监测在医疗保健中被广泛应用(例如，获取心率、测量血压、糖分等);它还成功地应用于制造业(用于控制生产设备)、农业(用于监测牛和作物)和其他行业。

数据分析。在处理物联网生成的大数据时，我们有机会超越监测，并从这些数据中获得有价值的见解：识别趋势，揭示看不见的模式并找到隐藏的信息和相关性。

流程控制和优化。来自传感器的数据提供了额外的上下文情境信息，以揭示影响性能和优化流程的重要问题。

▲交通管理：跟踪不同日期和时间的交通负荷，以制定出针对交通优化的建议，例如，在特定时间段增加公共汽车的数量，看看是否有改观，以及建议引入新的交通信号灯方案和修建新的道路，以减少街道的交通拥堵状况。

▲零售：跟踪超市货架中商品的销售情况，并在商品快卖完之前及时通知工作人员补货。

▲农业：根据传感器的数据，在必要时给作物浇水。

预测性维护。通过连网设备收集的数据可以成为预测风险、主动识别潜在危险状况的可靠来源，例如：

▲医疗保健：监测患者健康状态并识别风险(例如，哪些患者有糖尿病、心脏病发作的风险)，以便及时采取措施。

▲制造业：预测设备故障，以便在故障发生之前及时解决。

还应注意的是，并非所有的物联网解决方案都需要大数据(例如，如果智能家居拥有者要借助智能手机来关灯，则可以在没有大数据的情况下执行此 *** 作)。重要的是要考虑减少处理动态数据的工作量，并避免存储将来没有用处的大量数据。

物联网中的大数据挑战

除非处理大量数据以获取有价值的见解，否则这些数据完全没用。此外，在数据收集、处理和存储方面还有各种挑战。

▲数据可靠性。虽然大数据永远不会100%准确，但在分析数据之前，请务必确保传感器工作正常，并且用于分析的数据质量可靠，且不会因各种因素(例如，机器运行的不利环境、传感器故障)而损坏。

▲要存储哪些数据。连网设备会产生万亿字节的数据，选择存储哪些数据和删除哪些数据是一项艰巨的任务。更重要的是，一些数据的价值还远远没有显现出来，但将来您可能需要这些数据。如果您决定为将来存储数据，那么面临的挑战就是以最小的成本做到这一点。

▲分析深度。一旦并非所有大数据都很重要，就会出现另一个挑战：什么时候快速分析就足够了，什么时候需要进行更深入的分析以带来更多价值。

▲安全。毫无疑问，各个领域的连网事物可以让我们的生活变得更加美好，但与此同时，数据安全也成一个非常重要的问题。网络罪犯可以侵入数据中心和设备，连接到交通系统、发电厂、工厂，并从电信运营商那里窃取个人数据。物联网大数据对于安全专家来说还是一个相对较新的现象，相关经验的缺失会增加安全风险。

物联网解决方案中的大数据处理

在物联网系统中，物联网体系架构的数据处理组件因输入数据的特性、预期结果等而不同。我们已经制定了一些方法来处理物联网解决方案中的大数据。

数据来自与事物相连的传感器。“事物”可以是任何物体：烤箱、汽车、飞机、建筑、工业机器、康复设备等。数据可以是周期性的，也可以是流式的。后者对于实时数据处理和迅速管理事物至关重要。

事物将数据发送到网关，以进行初始数据过滤和预处理，从而减少了传输到下一个物联网系统中的数据量。

边缘分析。在进行深入数据分析之前，有必要进行数据过滤和预处理，以选择某些任务所需的最相关数据。此外，此阶段还可以确保实时分析，以快速识别之前在云中通过深度分析所发现的有用模式。

对于基本协议转换和不同数据协议之间的通信，云网关是必需的。它还支持现场网关和中央物联网服务器之间的数据压缩和安全数据传输。

连网设备生成的数据以其自然格式存储在数据湖中。原始数据通过“流”进入数据湖。数据保存在数据湖中，直到可以用于业务目的。清理过的结构化数据存储在数据仓库中。

机器学习模块根据之前积累的历史数据生成模型。这些模型定期(例如，一个月一次)用新数据流更新。输入的数据被累积并应用于训练和创建新模型。当这些模型经过专家的测试和批准后，控制应用程序就可以使用它们，以响应新的传感器数据发送命令或警报。

总结

物联网产生大量数据，可用于实时监控、分析、流程优化和预测性维护等。然而，应该记住，从各种格式的海量数据中获得有价值的见解并不是一件容易事情：您需要确保传感器工作正常，数据得到安全传输和有效处理。此外，始终存在一个问题：哪些数据值得存储和处理。

尽管存在一些挑战和问题，但应记住，物联网的发展势头强劲，并可以帮助多个行业的企业开辟新的数字机遇。

物联网开发应用最重要的是各种接口的兼容性。

首先物联网终端设备数量比手机大得多，而且本身没有显示界面，通常只是能够通过特定网络协议回传数据的传感器（直接连入互联网或者通过网关设备），也就是说在物联网大数据汇聚的前端，数据的汇入是自动化进行的，应用开发的重点是后端的汇聚层。

物联网应用后端汇聚层需要有一个智能化软件系统（通常运行于数据中心），来管理物联网设备（包括固件升级等）、网络、处理海量数据，并提供给用户。

在设备层、汇聚层之外，物联网应用还需要一个分析层，负责处理物联网设备产生的大数据。

最后，是最终用户层，负责将有用的数据分析结果以可视化的方式展示到用户的终端设备中，这个层面的开发，可以是移动web网站也可以是一个手机APP。

由于设备层和汇聚层第三方专业产品和服务的完善，实际上今天的物联网应用开发，主要指的是分析层和用户层这两个层面，换而言之，未来物联网开发生态主要建立在成熟的云计算物联网平台上。成熟的物联网平台通常都提供汇聚层需要的大数据存储、实时信息总线以及于前端应用通讯的API。

实际上今天已经有大量面向物联网应用开发的平台，例如Xively、Mnubo、BugLabs和ThingWorx等，这些平台通常能够兼容大量物联网产品厂商的设备。

政策推动我国物联网高速发展

自2013年《物联网发展专项行动计划》印发以来，国家鼓励应用物联网技术来促进生产生活和社会管理方式向智能化、精细化、网络化方向转变，对于提高国民经济和社会生活信息化水平，提升社会管理和公共服务水平，带动相关学科发展和技术创新能力增强，推动产业结构调整和发展方式转变具有重要意义。

以数字化、网络化、智能化为本质特征的第四次工业革命正在兴起。物联网作为新一代信息技术与制造业深度融合的产物，通过对人、机、物的全面互联，构建起全要素、全产业链、全价值链全面连接的新型生产制造和服务体系，是数字化转型的实现途径，是实现新旧动能转换的关键力量。

我国物联网行业呈高速增长状态 未来将有更广阔的空间

自2013年以来我国物联网行业规模保持高速增长，增速一直维持在15%以上，江苏、浙江、广东省行业规模均超千亿元。中国通信工业协会的数据表明，随着物联网信息处理和应用服务等产业的发展，中国物联网行业规模已经从2013年的4896亿元增长至2019年的15万亿元。

虽然我国物联网发展显著，但我国物联网行业仍处于成长期的早中期阶段。目前中国物联网及相关企业超过3万家，其中中小企业占比超过85%，创新活力突出，对产业发展推动作用巨大。

物联网作为中国新一代信息技术自主创新突破的重点方向，蕴含着巨大的创新空间，在芯片、传感器、近距离传输、海量数据处理以及综合集成、应用等领域，创新活动日趋活跃，创新要素不断积聚。

物联网在各行各业的应用不断深化，将催生大量的新技术、新产品、新应用、新模式。未来巨大的市场需求将为物联网带来难得的发展机遇和广阔的发展空间。

在政策、经济、社会、技术等因素的驱动下，2020年GSMA移动经济发展报告预测，2019-2025年复合增长率为9%左右，2020年中国物联网行业规模目标16亿元，按照目前物联网行业的发展态势，十三五规划的目标有望超预期完成;预计到2025年，中国物联网行业规模将超过27万亿元。

未来物联网行业将向着多元方向发展

标准化是物联网发展面临的最大挑战之一，它是希望在早期主导市场的行业领导者之间的一场斗争。目前我国物联网行业百家争鸣，还未有一个统一的标准出现。因此在未来可能通过不断竞争将会出现限数量的供应商主导市场，类似于现在使用的Windows、Mac和Linux *** 作系统。

合规化同样是当下物联网面临的问题之一，特别是数据隐私问题。目前数据隐私已成为网络社会的一个关键词，各种用户数据泄露或被滥用的事件频发，特别是Facebook的丑闻引发了全球担忧。

因此在未来，我国各种立法和监管机构将提出更加严格的用户数据保护规定，，用户的敏感数据可能会随着时间的推移而受到更严格的监管。

安全化是指预防物联网软件遭受网络黑客攻击，在未来，以安全为重点的物联网设施将受到更多的关注，特别是某些特定的基础行业，如医疗健康、安全安防、金融等领域。

多重技术推动物联网技术创新

从技术创新趋势来看，物联网行业发展的内生动力正在不断增强。连接技术不断突破，NB-Iot、eMTC、Lora等低功耗广域网全球商用化进程不断加速;物联网平台迅速增长，服务支撑能力迅速提升;

区块链、边缘计算、人工智能等新技术题材不断注入物联网，为物联网带来新的创新活力。受技术和产业成熟度的综合驱动，物联网呈现“边缘的智能化、连接的泛在化、服务的平台化、数据的延伸化”等特点。

上数据来源于前瞻产业研究院《中国物联网行业应用领域市场需求与投资预测分析报告》。

基于EPC和RFID技术的物联网在现代物流领域的应用 物联网又称传感网，英文名称叫“Internet of Things”，简称 IOT。物联网的概念于 1999 年在美国召开的移动计算机和网络国际会议上首次被提出, 2005 年在突尼斯举行的信息社会世界峰会上，国际电信联盟( ITU)发布了《ITU互联网报告 2005：物联网》的报告，正式提出了物联网的概念。物联网是在计算机互联网基础上利用射频识别(RFID)技术、无线通信技术、红外感应器、全球定位系统、激光扫描器等信息传感设备，按约定的协议把任何物品与互联网连接起来，进行信息交换和通讯，以实现智能化识别、定位、跟踪、监测和管理的一种网络。 在这个网络中世界上所有的物体从轮胎到牙刷、从房屋到纸巾都可以通过因特网主动进行信息交换。 物联网的问世，打破了传统思维。过去一直将机场、公路、建筑物等物理基础设施与数据中心、个人电脑、宽带等 IT 基础设施分开。而在物联网时代，所有的物品、电缆、芯片、宽带将整合为统一的基础设施，世界就在物联网上开展各种活动。 物联网应用广泛，遍及物流仓储、智能交通、环境保护、政府工作、公共安全、平安家居、智能消防、工业监测、老人护理、个人健康等多个领域。但是，受技术水平和使用成本等因素的制约，物联网的应用在短期内还难以一下子在各个领域全面推广。而在更加追求效率及成本控制的物流行业，有望率先在这一新领域进行尝试。物联网与现代物流有着天然紧密的联系，其关键技术诸如物体标识及标识追踪、无线定位等新型信息技术应用，能够有效实现物流的智能调度管理、整合物流核心业务流程，加强物流管理的合理化，降低物流消耗，从而降低物流成本，减少流通费用，增加利润。 物联网借助互联网、RFID 等无线数据通信等技术，实现了单个商品的识别与跟踪。基于这些特性，将其应用到物流的各个环节，保证商品的生产、运输、仓储、销售及消费全过程的安全和时效。本文就物联网在现代物流各个环节的应用进行探讨，并对物联网在国内外物流的应用现状进行了概述。 1 物联网在物流各个环节的应用分析 物流是指物品从供应地向接收地的实体流动过程。当前的物流过程存在物流信息不对称、得不到及时的信息等弊端，难以实现及时的调节和协同。随着全球经济一体化进程的推进，调度、管理和平衡供应链的各环节(跨区、跨国)之间的资源变得日益迫切，以产品电子代码( EPC 码)和 RFID 为核心在互联网之上构造“物联网”，将在全球范围从根本上改变对产品生产、运输、仓储、销售各环节物品流动监控和动态协调的管理水平。 11 物流生产和运输领域 基于物联网的支持，电子标签承载的信息可以实时获取，从而清楚地了解到产品的具体位置，进行自动跟踪。对制造商而言，原材料供应管理和产品销售管理是其管理的核心，物联网的应用使得产品的动态跟踪运送和信息的获取更加方便，对不合格的产品及时召回，降低产品退货率，提高了自己的服务水平，同时也提高了
消费者对产品的信赖度。另外，制造商与消费者信息交流的增进使其对市场需求做出更快的响应，在市场信息的捕捉方面就夺得了先机，从而有计划地组织生产，调配内部员工和生产资料，降低甚至避免因牛鞭效应带来的投资风险。对运输商而言，通过电子产品代码EPC自动获取数据，进行货物分类，降低取货、送货成本。并且，EPC 电子标签中编码的唯一性和仿造的难度可以用来鉴别货物真伪。由于其读取范围较广，则可实现自动通关和运输路线的追踪，从而保证了产品在运输途中的安全。即使在运输途中出现问题，也可以准确地定位，做出及时的补救，使损失尽可能降到最低。这就大大提高了运输商送货的可靠性和效率，提高了服务质量。此外，运输商通过EPC可以提供新信息增值服务，从而提高收益率，维护其资产安全。 12 物流仓储领域 出入库产品信息的采集因为物联网技术的运用，而嵌入相应的数据库，经过数据处理，实现对产品的拣选、分类堆码和管理。若仓储空间设置相应的货物进出自动扫描纪录，则可防止货物的盗窃或因 *** 作人员疏忽引起的物品流失，从而提高库存的安全管理水平。现今，它已经广泛使用于货物和库存的盘点及自动存取货物等方面。 13 销售管理领域 物联网系统具有快速的信息传递能力，能够及时获取缺货信息，并将其传递到卖场的仓库管理系统，经信息汇总传递给上一级分销商或制造商。及时准确的信息传递，有利于上游供应商合理安排生产计划，降低运营风险。在货物调配环节，RFID 技术的支持大大提高了货物拣选、配送及分发的速度，还在此过程中实时监督货物流向，保障其准时准点到达，实现了销售环节的畅通。对零售商而言，实施 EPC 保证了合理的货物仓储数量，从而提高定单供货率，降低脱销的可能性和库存积压的风险。由于自动结算速度的大幅提高，卖场就可以降低最小安全存货量，增加流动资金。由于可以实现单品识别，每个产品都具有特殊代表性，他们在货架上的具体位置、所处状态，可通过信息阅读随时传递至互联网，在信息处理之后反馈给管理人员，可以有效防盗，避免销售损失。 14 商品消费领域 物联网的出现使得个性化购买、排队等候时间缩短变为现实。消费者随时掌握所购买产品及其厂商的相关信息，对有质量问题的产品进行责任追溯。事实上，由于产品在生产之初直至消费者手中的整个过程都经由实时的质量和数量追踪并依据情况做出补救，到消费者手中的残次产品几乎为零。这样，即保证消费者购买到满意商品，还可以防止残次产品因不及时有效处理而对周围环境带来威胁。特别是有毒有害的危险品，随意丢弃将可能造成严重的环境污染，酿成巨大的损失。

Zigbee网络的组建过程主要包括以下步骤：

部署网关：网关是连接物联网设备和其他网络的中心设备，在Zigbee网络中需要先部署一个网关。

配置节点：节点是Zigbee网络中的基本单元，在网络组建过程中需要配置每个节点的信息，包括节点地址、通信频率等。

组建网络：通过网关将节点连接在一起，形成一个Zigbee网络。

设置网络配置：设置Zigbee网络的相关参数，如通信频率、信道、网络安全等。

启动网络：启动Zigbee网络，节点之间开始进行通信。

Zigbee网络的组建过程需要对网络结构、通信协议、安全性等因素进行综合考虑，确保网络的可靠性和安全性。

物联网是新一代信息技术的重要组成部分，也是“信息化”时代的重要发展阶段。其英文名称是：“Internet of things（IoT）”。顾名思义，物联网就是物物相连的互联网。这有两层意思：其一，物联网的核心和基础仍然是互联网，是在互联网基础上的延伸和扩展的网络；其二，其用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通信，也就是物物相息。物联网通过智能感知、识别技术与普适计算等通信感知技术，广泛应用于网络的融合中，也因此被称为继计算机、互联网之后世界信息产业发展的第三次浪潮。物联网是互联网的应用拓展，与其说物联网是网络，不如说物联网是业务和应用。因此，应用创新是物联网发展的核心，以用户体验为核心的创新20是物联网发展的灵魂。
IoT本质上是机器系统或者构建好的对象，带有数据收集技术，这些对象之间可以相互通信。所产生的机器对机器（M2M）数据有广泛的使用场景，但通常看作是确定事物状态健康的方式，无生命还是活的。IT管理员可在物理环境中使用IoT，获得想要的信息。

---