物联网解决方案中的大数据处

作者 | 网络大数据

来源 | raincent_com

随着物联网的演变和发展，所有可以想象到的东西(或事物)和产业都将变得更加智能：智能家居和智慧城市、智能制造机械、智能汽车、智能健康等等。无数被授权收集和交换数据的东西正在形成一个全新的网络——物联网——一个可以在云中收集数据、传输数据和完成用户任务的物理对象网络。

物联网和大数据正在走向胜利之路。不过，要想从这一创新中获益，还需要解决一些挑战和问题。在本文中，我们很高兴与大家分享多年来在物联网咨询领域积累的知识。

物联网大数据如何应用

首先，有多种方法可以从物联网大数据中获益：在某些情况下，通过快速分析就足够了，而一些有价值的见解只有在经过深入的数据处理之后才能获得。

实时监测。通过连网设备收集的数据可以用于实时 *** 作：测量家中或办公室的温度、跟踪身体活动(计算步数、监测运动)等;实时监测在医疗保健中被广泛应用(例如，获取心率、测量血压、糖分等);它还成功地应用于制造业(用于控制生产设备)、农业(用于监测牛和作物)和其他行业。

数据分析。在处理物联网生成的大数据时，我们有机会超越监测，并从这些数据中获得有价值的见解：识别趋势，揭示看不见的模式并找到隐藏的信息和相关性。

流程控制和优化。来自传感器的数据提供了额外的上下文情境信息，以揭示影响性能和优化流程的重要问题。

▲交通管理：跟踪不同日期和时间的交通负荷，以制定出针对交通优化的建议，例如，在特定时间段增加公共汽车的数量，看看是否有改观，以及建议引入新的交通信号灯方案和修建新的道路，以减少街道的交通拥堵状况。

▲零售：跟踪超市货架中商品的销售情况，并在商品快卖完之前及时通知工作人员补货。

▲农业：根据传感器的数据，在必要时给作物浇水。

预测性维护。通过连网设备收集的数据可以成为预测风险、主动识别潜在危险状况的可靠来源，例如：

▲医疗保健：监测患者健康状态并识别风险(例如，哪些患者有糖尿病、心脏病发作的风险)，以便及时采取措施。

▲制造业：预测设备故障，以便在故障发生之前及时解决。

还应注意的是，并非所有的物联网解决方案都需要大数据(例如，如果智能家居拥有者要借助智能手机来关灯，则可以在没有大数据的情况下执行此 *** 作)。重要的是要考虑减少处理动态数据的工作量，并避免存储将来没有用处的大量数据。

物联网中的大数据挑战

除非处理大量数据以获取有价值的见解，否则这些数据完全没用。此外，在数据收集、处理和存储方面还有各种挑战。

▲数据可靠性。虽然大数据永远不会100%准确，但在分析数据之前，请务必确保传感器工作正常，并且用于分析的数据质量可靠，且不会因各种因素(例如，机器运行的不利环境、传感器故障)而损坏。

▲要存储哪些数据。连网设备会产生万亿字节的数据，选择存储哪些数据和删除哪些数据是一项艰巨的任务。更重要的是，一些数据的价值还远远没有显现出来，但将来您可能需要这些数据。如果您决定为将来存储数据，那么面临的挑战就是以最小的成本做到这一点。

▲分析深度。一旦并非所有大数据都很重要，就会出现另一个挑战：什么时候快速分析就足够了，什么时候需要进行更深入的分析以带来更多价值。

▲安全。毫无疑问，各个领域的连网事物可以让我们的生活变得更加美好，但与此同时，数据安全也成一个非常重要的问题。网络罪犯可以侵入数据中心和设备，连接到交通系统、发电厂、工厂，并从电信运营商那里窃取个人数据。物联网大数据对于安全专家来说还是一个相对较新的现象，相关经验的缺失会增加安全风险。

物联网解决方案中的大数据处理

在物联网系统中，物联网体系架构的数据处理组件因输入数据的特性、预期结果等而不同。我们已经制定了一些方法来处理物联网解决方案中的大数据。

数据来自与事物相连的传感器。“事物”可以是任何物体：烤箱、汽车、飞机、建筑、工业机器、康复设备等。数据可以是周期性的，也可以是流式的。后者对于实时数据处理和迅速管理事物至关重要。

事物将数据发送到网关，以进行初始数据过滤和预处理，从而减少了传输到下一个物联网系统中的数据量。

边缘分析。在进行深入数据分析之前，有必要进行数据过滤和预处理，以选择某些任务所需的最相关数据。此外，此阶段还可以确保实时分析，以快速识别之前在云中通过深度分析所发现的有用模式。

对于基本协议转换和不同数据协议之间的通信，云网关是必需的。它还支持现场网关和中央物联网服务器之间的数据压缩和安全数据传输。

连网设备生成的数据以其自然格式存储在数据湖中。原始数据通过“流”进入数据湖。数据保存在数据湖中，直到可以用于业务目的。清理过的结构化数据存储在数据仓库中。

机器学习模块根据之前积累的历史数据生成模型。这些模型定期(例如，一个月一次)用新数据流更新。输入的数据被累积并应用于训练和创建新模型。当这些模型经过专家的测试和批准后，控制应用程序就可以使用它们，以响应新的传感器数据发送命令或警报。

总结

物联网产生大量数据，可用于实时监控、分析、流程优化和预测性维护等。然而，应该记住，从各种格式的海量数据中获得有价值的见解并不是一件容易事情：您需要确保传感器工作正常，数据得到安全传输和有效处理。此外，始终存在一个问题：哪些数据值得存储和处理。

尽管存在一些挑战和问题，但应记住，物联网的发展势头强劲，并可以帮助多个行业的企业开辟新的数字机遇。

工业物联网设备上云是依托物联网、大数据、云计算、人工智能等新一代信息技术，将产线的设备变成一个实时数据终端，通过4G、5G等通讯技术，实现数据实时上传下达，实现设备远程控制、数据实时分析决策、智能运维、预测性维护等需求，同时需要支持MES、MOM等系统对接，并通过一系列智能逻辑判断、分析、挖掘、评估、预测、优化、协作等，实现对生产现场实施集成管控。
据我所知机智云的工业物联网设备上云解决方案有非常丰富的实施经验，而且实施快、成本低、轻量化解决客户需求，机智云多次被评为优秀工业互联网解决方案商，߅基于机智云AIoT底层物联网技术，结合制造业实际业务，已形成多个垂直行业设备上云解决方案，并参与制定相关国家标准，在纺织行业已实现规模化推广，高效兼容500款纺织机，已接入几十万台纺织机，并通过对接MES系统，支持B2B交易平台及供应链金融开展产业互联网业务。

“云服务”是在云计算产生过后出现的一种服务，就是基于云计算的相关服务。
具体的话，可以从云应用方面谈谈。
首先是云物联，“物联网就是物物相连的互联网”。这有两层意思：第一，物联网的核心和基础仍然是互联网，是在互联网基础上的延伸和扩展的网络；第二，其用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通信。
随着物联网业务量的增加，对数据存储和计算量的需求将带来对“云计算”能力的要求：
1．云计算：从计算中心到数据中心在物联网的初级阶段，PoP即可满足需求；
2． 在物联网高级阶段，可能出现MVNO/MMO营运商（国外已存在多年），需要虚拟化云计算技术，SOA等技术的结合实现互联网的泛在服务：TaaS （everyTHING As A Service)。
其次是云安全，云安全(Cloud Security)是一个从“云计算”演变而来的新名词。云安全的策略构想是：使用者越多，每个使用者就越安全，因为如此庞大的用户群，足以覆盖互联网的每个角落，只要某个网站被挂马或某个新木马病毒出现，就会立刻被截获。
“云安全”通过网状的大量客户端对网络中软件行为的异常监测，获取互联网中木马、恶意程序的最新信息，推送到Server端进行自动分析和处理，再把病毒和木马的解决方案分发到每一个客户端。360的某些杀毒技术就涉及到一些云安全的技术。
还有就是云存储，云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。 当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。举个例子，百度个人云盘、燕麦企业云盘都是属于云存储的。

云计算属于物联网的必不可少的组成部分。

云计算与物联网的结合方式及面临问题 核心提示：云计算带来的高效率的运算模式可以为物联网提供良好的应用基础。没有云计算的发展，物联网也就不能顺利实现，而物联网的发展又推动了云计算技术的进步，因为只有真正与物联网结合后，云计 算才算是真正意义上从概念走向应用，两者缺一不可。

物联网的四大组成部分：感应识别、网络传输、管理服务和综合应用，其中中间两个部分就会利用到云计算，特别是管理服务这一项。因为这里有海量的数据存储和计算的要求，使用云计算可能是最省钱的一种方式。

云计算促进物联网和互联网的智能融合，从而构建 IBM 智慧地球。物联网和互联网的 融合，需要更高层次的整合，需要更透彻的感知，更安全的互联互通，更深入的智能化。这 同样也需要依靠高效的、动态的、可以大规模扩展的技术资源处理能力，而这正是云计算模 式所擅长的。同时，云计算的创新型服务交付模式，简化服务的交付，加强物联网和互联网 之间及其内部的互联互通，可以实现新商业模式的快速创新，促进物联网和互联网的智能融合。

云计算与物联网的结合方式我们可以分为以下几种： 一是单中心，多终端。此类模式中，分布范围的较小各物联网终端 （传感器、摄像头或 3G 手机等），把云中心或部分云中心做为数据/处理中心，终端所获得信息、数据统一由云 中心处理及存储，云中心提供统一界面给使用者 *** 作或者查看。

这类应用非常多，如小区及家庭的监控、对某一高速路段的监测、幼儿园小朋友监管以 及某些公共设施的保护等都可以用此类信息。这类主要应用的云中心，可提供海量存储和统 一界面、分级管理等功能，对日常生活提供较好的帮助。

物联网开发：

1、谷歌云物联网

谷歌推出了基于其端到端谷歌云平台的物联网开发工具平台。这是世界领先的物联网平台之一。Google Cloud有许多服务可以为链接的解决方案带来价值。Google Cloud IoT的主要功能是AI和ML功能、实时数据分析、令人印象深刻且可以跟踪位置的数据可视化。

2、思科物联网云连接

Cisco IoT Cloud Connect是为移动运营商而创建的。思科提供可靠的物联网硬件、路由器、网关和其他设备。Cisco IoT Cloud Connect的主要特点是其强大的工业解决方案、高级安全性、边缘计算、集中连接和数据管理。

3、IRI Voracity

IRI Voracity平台使用Hadoop和IRI CoSort两个引擎来处理大数据。它允许用户管理、发现、分析、转换和迁移数据。IRI Voracity的核心功能是一个数据治理门户，支持在孤岛中搜索和排序数据。DB Ops环境允许人们从一个地方管理所有数据库。

4、粒子

Particle为全球设备和硬件解决方案提供边缘到云的物联网开发工具。Particle平台的主要特点是通过REST API与第三方服务集成，有防火墙保护的云，可以处理来自Google Cloud或Microsoft Azure的数据。

5、Salesforce物联网云

Salesforce IoT Cloud专注于客户关系管理。Salesforce IoT Cloud核心功能的主要特点是完整的客户、产品和CRM集成，网站、服务等支持第三方产品，主动解决客户的问题和需求。

---