物联网解决方案中的大数据处

作者 | 网络大数据

来源 | raincent_com

随着物联网的演变和发展，所有可以想象到的东西(或事物)和产业都将变得更加智能：智能家居和智慧城市、智能制造机械、智能汽车、智能健康等等。无数被授权收集和交换数据的东西正在形成一个全新的网络——物联网——一个可以在云中收集数据、传输数据和完成用户任务的物理对象网络。

物联网和大数据正在走向胜利之路。不过，要想从这一创新中获益，还需要解决一些挑战和问题。在本文中，我们很高兴与大家分享多年来在物联网咨询领域积累的知识。

物联网大数据如何应用

首先，有多种方法可以从物联网大数据中获益：在某些情况下，通过快速分析就足够了，而一些有价值的见解只有在经过深入的数据处理之后才能获得。

实时监测。通过连网设备收集的数据可以用于实时 *** 作：测量家中或办公室的温度、跟踪身体活动(计算步数、监测运动)等;实时监测在医疗保健中被广泛应用(例如，获取心率、测量血压、糖分等);它还成功地应用于制造业(用于控制生产设备)、农业(用于监测牛和作物)和其他行业。

数据分析。在处理物联网生成的大数据时，我们有机会超越监测，并从这些数据中获得有价值的见解：识别趋势，揭示看不见的模式并找到隐藏的信息和相关性。

流程控制和优化。来自传感器的数据提供了额外的上下文情境信息，以揭示影响性能和优化流程的重要问题。

▲交通管理：跟踪不同日期和时间的交通负荷，以制定出针对交通优化的建议，例如，在特定时间段增加公共汽车的数量，看看是否有改观，以及建议引入新的交通信号灯方案和修建新的道路，以减少街道的交通拥堵状况。

▲零售：跟踪超市货架中商品的销售情况，并在商品快卖完之前及时通知工作人员补货。

▲农业：根据传感器的数据，在必要时给作物浇水。

预测性维护。通过连网设备收集的数据可以成为预测风险、主动识别潜在危险状况的可靠来源，例如：

▲医疗保健：监测患者健康状态并识别风险(例如，哪些患者有糖尿病、心脏病发作的风险)，以便及时采取措施。

▲制造业：预测设备故障，以便在故障发生之前及时解决。

还应注意的是，并非所有的物联网解决方案都需要大数据(例如，如果智能家居拥有者要借助智能手机来关灯，则可以在没有大数据的情况下执行此 *** 作)。重要的是要考虑减少处理动态数据的工作量，并避免存储将来没有用处的大量数据。

物联网中的大数据挑战

除非处理大量数据以获取有价值的见解，否则这些数据完全没用。此外，在数据收集、处理和存储方面还有各种挑战。

▲数据可靠性。虽然大数据永远不会100%准确，但在分析数据之前，请务必确保传感器工作正常，并且用于分析的数据质量可靠，且不会因各种因素(例如，机器运行的不利环境、传感器故障)而损坏。

▲要存储哪些数据。连网设备会产生万亿字节的数据，选择存储哪些数据和删除哪些数据是一项艰巨的任务。更重要的是，一些数据的价值还远远没有显现出来，但将来您可能需要这些数据。如果您决定为将来存储数据，那么面临的挑战就是以最小的成本做到这一点。

▲分析深度。一旦并非所有大数据都很重要，就会出现另一个挑战：什么时候快速分析就足够了，什么时候需要进行更深入的分析以带来更多价值。

▲安全。毫无疑问，各个领域的连网事物可以让我们的生活变得更加美好，但与此同时，数据安全也成一个非常重要的问题。网络罪犯可以侵入数据中心和设备，连接到交通系统、发电厂、工厂，并从电信运营商那里窃取个人数据。物联网大数据对于安全专家来说还是一个相对较新的现象，相关经验的缺失会增加安全风险。

物联网解决方案中的大数据处理

在物联网系统中，物联网体系架构的数据处理组件因输入数据的特性、预期结果等而不同。我们已经制定了一些方法来处理物联网解决方案中的大数据。

数据来自与事物相连的传感器。“事物”可以是任何物体：烤箱、汽车、飞机、建筑、工业机器、康复设备等。数据可以是周期性的，也可以是流式的。后者对于实时数据处理和迅速管理事物至关重要。

事物将数据发送到网关，以进行初始数据过滤和预处理，从而减少了传输到下一个物联网系统中的数据量。

边缘分析。在进行深入数据分析之前，有必要进行数据过滤和预处理，以选择某些任务所需的最相关数据。此外，此阶段还可以确保实时分析，以快速识别之前在云中通过深度分析所发现的有用模式。

对于基本协议转换和不同数据协议之间的通信，云网关是必需的。它还支持现场网关和中央物联网服务器之间的数据压缩和安全数据传输。

连网设备生成的数据以其自然格式存储在数据湖中。原始数据通过“流”进入数据湖。数据保存在数据湖中，直到可以用于业务目的。清理过的结构化数据存储在数据仓库中。

机器学习模块根据之前积累的历史数据生成模型。这些模型定期(例如，一个月一次)用新数据流更新。输入的数据被累积并应用于训练和创建新模型。当这些模型经过专家的测试和批准后，控制应用程序就可以使用它们，以响应新的传感器数据发送命令或警报。

总结

物联网产生大量数据，可用于实时监控、分析、流程优化和预测性维护等。然而，应该记住，从各种格式的海量数据中获得有价值的见解并不是一件容易事情：您需要确保传感器工作正常，数据得到安全传输和有效处理。此外，始终存在一个问题：哪些数据值得存储和处理。

尽管存在一些挑战和问题，但应记住，物联网的发展势头强劲，并可以帮助多个行业的企业开辟新的数字机遇。

物联网平台为设备提供安全可靠的连接通信能力，向下连接海量设备，支撑设备数据采集上云；向上提供云端API，指令数据通过API调用下发至设备端，实现远程控制。

物联网平台也提供了其他增值能力，如设备管理、规则引擎、数据分析、边缘计算等，为各类IoT场景和行业开发者赋能。

如下是共享单车基于物联网平台的解决方案。
物联网平台提供边缘计算能力，支持在离设备最近的位置构建边缘计算节点处理设备数据。

在断网或弱网情况下，边缘计算可缓存设备数据，网络恢复后，自动将数据同步至云端。

提供多种业务逻辑的开发和运行框架，包括场景联动、函数计算和流式计算，各框架均支持云端开发、动态部署。

边缘计算能力允许在最靠近设备的地方构建边缘计算节点，过滤清洗设备数据，并将处理后的数据上传至云平台。
物联网应用可广泛应用于：智能生活、智能工业、智能楼宇、环境保护、农业水利、能源监控等环境。计算平台主要涉及：

开发者使用设备接入SDK，将非标设备转换成标准物模型，就近接入网关，从而实现设备的管理和控制。

设备连接到网关后，网关可以实现设备数据的采集、流转、存储、分析和上报设备数据至云端，同时网关提供规则引擎、函数计算引擎，方便场景编排和业务扩展。

设备数据上传云端后，可以结合云功能，如大数据、AI学习等，通过标准API接口，实现更多功能和应用。

物联网 (IoT) 设备必须连接互联网。通过连接到互联网，设备就能相互协作，以及与后端服务协同工作。互联网的基础网络协议是 TCP/IP。MQTT（Message Queue Telemetry Transport，消息队列遥测传输） 是基于 TCP/IP 协议栈而构建的，已成为 IoT 通信的标准。

主要由数据结构、数据 *** 作和完整性约束部分组成，通常称为数据三要素。

数据模型是用于描绘、沟通数据需求的一组简单易懂、标准的，并且便于计算机实现的标准符号的集合。数据库很强大，但数据在其中的关系却错综复杂，成千上万个表通过各种关系或约束互连以形成复杂的结构。

没有数据模型，利益相关者很难看到现有数据库的结构、理解关键概念，当需要描述数据需求的时候，也很难准确地表达出来，这也是数据模型很重要的一个最主要的原因。

数据的技术特征主要包括以下维度。

一是数据的样本分布、时间覆盖和字段等。

二是数据容量，比如样本数、变量数、时间序列长度和占用的存储空间等。

三是数据质量，比如样本是否有代表性，数据是否符合事先定义的规范和标准，观察的颗粒度、精度和误差，以及数据完整性。

四是数据的时效性。因为观察对象的特征和行为可以随时间变化，数据是否还能反映观察对象的情况。

五是数据来源。有些数据来自第一手观察，有些数据由第一手观察者提供，还有些数据从其它数据推导而来。数据可以来自受控实验和抽样调查，也可以来自互联网、社交网络、物联网和工业互联网等。数据可以由人产生，也可以由机器产生。数据可以来自线上，也可以来自线下。

六是数据类型，包括结构化还是非结构化的，以及存在形式（文字、数字、图表、声音和视频等）。

七是不同数据集之间的互 *** 作性和可连接性，比如样本ID是否统一，变量定义是否一致，以及数据单位是否一致等。

八是是否为个人数据。个人数据在隐私保护上有很多特殊性，需要专门讨论。

1．物联网产生大数据，大数据助力物联网。目前，物联网正在支撑起社会活动和人们生活方式的变革，被称为继计算机、互联网之后冲击现代社会的第三次信息化发展浪潮。物联网在将物品和互联网连接起来，进行信息交换和通信，以实现智能化识别、定位、跟踪、监控和管理的过程中，产生的大量数据也在影响着电力、医疗、交通、安防、物流、环保等领域商业模式的重新形成。物联网握手大数据，正在逐步显示出巨大的商业价值。
2．大数据是高速跑车，云计算是高速公路。在大数据时代，用户的体验与诉求已经远远超过了科研的发展，但是用户的这些需求却依然被不断地实现。在云计算、大数据的时代，那些科幻片中的统计分析能力已初具雏形，而这其中最大的功臣并非工程师和科学家，而是互联网用户，他们的贡献已远远超出科技十年的积淀。

物联网云平台需具备以下功能。
(1)业务受理、开通、计费功能
要成为物联网业务的服务提供商，需要建立一套面向客户、传感器厂商、第三方行业应用提供商的运营服务体系，包括组织、流程、产品、支撑系统，其中支撑系统应具备业务受理、开通、计费等功能，能够提供物联网产品的快速开通服务。
(2)信息采集、存储、计算、展示功能
物联网云平台需要支持通过无线或有线网络采集传感网络节点上的物品感知信息，进行格式转换、保存和分析计算。相比互联网相对静态的数据，在物联网环境下，将更多地涉及基于时间和空间特征、动态的超大规模数据计算，并且不同行业的计算模型不同。这些应用所产生的海量数据对物联网运营平台的采集、存储、计算能力都提出了巨大的挑战。
(3)行业的灵活拓展应用模式
不同行业的业务规则和流程不同，其应用的功能和计算需求也有差别，例如在大气环保监控应用中，需要根据大气环境监测设备上采集到的降尘、一氧化碳、二氧化硫等数据，按一定的指标计算规则进行分析计算，得出分析结果，展现到监控中心计算机或监控人员手机上;而在电力抄表应用中，对于采集到的用户电表读数，将会用于计算当月用电量和电费，生成电费账单，进而支持收费销账。
因此物联网云平台不可能是一个封闭自运行的应用系统，需要具备第三方行业应用的集成能力即要能提供给第三方合作开发者灵活拓展的云端应用开发API接口，从而能够满足不同行业应用的差异化功能要求。

---