物联网解决方案中的大数据处

作者 | 网络大数据

来源 | raincent_com

随着物联网的演变和发展，所有可以想象到的东西(或事物)和产业都将变得更加智能：智能家居和智慧城市、智能制造机械、智能汽车、智能健康等等。无数被授权收集和交换数据的东西正在形成一个全新的网络——物联网——一个可以在云中收集数据、传输数据和完成用户任务的物理对象网络。

物联网和大数据正在走向胜利之路。不过，要想从这一创新中获益，还需要解决一些挑战和问题。在本文中，我们很高兴与大家分享多年来在物联网咨询领域积累的知识。

物联网大数据如何应用

首先，有多种方法可以从物联网大数据中获益：在某些情况下，通过快速分析就足够了，而一些有价值的见解只有在经过深入的数据处理之后才能获得。

实时监测。通过连网设备收集的数据可以用于实时 *** 作：测量家中或办公室的温度、跟踪身体活动(计算步数、监测运动)等;实时监测在医疗保健中被广泛应用(例如，获取心率、测量血压、糖分等);它还成功地应用于制造业(用于控制生产设备)、农业(用于监测牛和作物)和其他行业。

数据分析。在处理物联网生成的大数据时，我们有机会超越监测，并从这些数据中获得有价值的见解：识别趋势，揭示看不见的模式并找到隐藏的信息和相关性。

流程控制和优化。来自传感器的数据提供了额外的上下文情境信息，以揭示影响性能和优化流程的重要问题。

▲交通管理：跟踪不同日期和时间的交通负荷，以制定出针对交通优化的建议，例如，在特定时间段增加公共汽车的数量，看看是否有改观，以及建议引入新的交通信号灯方案和修建新的道路，以减少街道的交通拥堵状况。

▲零售：跟踪超市货架中商品的销售情况，并在商品快卖完之前及时通知工作人员补货。

▲农业：根据传感器的数据，在必要时给作物浇水。

预测性维护。通过连网设备收集的数据可以成为预测风险、主动识别潜在危险状况的可靠来源，例如：

▲医疗保健：监测患者健康状态并识别风险(例如，哪些患者有糖尿病、心脏病发作的风险)，以便及时采取措施。

▲制造业：预测设备故障，以便在故障发生之前及时解决。

还应注意的是，并非所有的物联网解决方案都需要大数据(例如，如果智能家居拥有者要借助智能手机来关灯，则可以在没有大数据的情况下执行此 *** 作)。重要的是要考虑减少处理动态数据的工作量，并避免存储将来没有用处的大量数据。

物联网中的大数据挑战

除非处理大量数据以获取有价值的见解，否则这些数据完全没用。此外，在数据收集、处理和存储方面还有各种挑战。

▲数据可靠性。虽然大数据永远不会100%准确，但在分析数据之前，请务必确保传感器工作正常，并且用于分析的数据质量可靠，且不会因各种因素(例如，机器运行的不利环境、传感器故障)而损坏。

▲要存储哪些数据。连网设备会产生万亿字节的数据，选择存储哪些数据和删除哪些数据是一项艰巨的任务。更重要的是，一些数据的价值还远远没有显现出来，但将来您可能需要这些数据。如果您决定为将来存储数据，那么面临的挑战就是以最小的成本做到这一点。

▲分析深度。一旦并非所有大数据都很重要，就会出现另一个挑战：什么时候快速分析就足够了，什么时候需要进行更深入的分析以带来更多价值。

▲安全。毫无疑问，各个领域的连网事物可以让我们的生活变得更加美好，但与此同时，数据安全也成一个非常重要的问题。网络罪犯可以侵入数据中心和设备，连接到交通系统、发电厂、工厂，并从电信运营商那里窃取个人数据。物联网大数据对于安全专家来说还是一个相对较新的现象，相关经验的缺失会增加安全风险。

物联网解决方案中的大数据处理

在物联网系统中，物联网体系架构的数据处理组件因输入数据的特性、预期结果等而不同。我们已经制定了一些方法来处理物联网解决方案中的大数据。

数据来自与事物相连的传感器。“事物”可以是任何物体：烤箱、汽车、飞机、建筑、工业机器、康复设备等。数据可以是周期性的，也可以是流式的。后者对于实时数据处理和迅速管理事物至关重要。

事物将数据发送到网关，以进行初始数据过滤和预处理，从而减少了传输到下一个物联网系统中的数据量。

边缘分析。在进行深入数据分析之前，有必要进行数据过滤和预处理，以选择某些任务所需的最相关数据。此外，此阶段还可以确保实时分析，以快速识别之前在云中通过深度分析所发现的有用模式。

对于基本协议转换和不同数据协议之间的通信，云网关是必需的。它还支持现场网关和中央物联网服务器之间的数据压缩和安全数据传输。

连网设备生成的数据以其自然格式存储在数据湖中。原始数据通过“流”进入数据湖。数据保存在数据湖中，直到可以用于业务目的。清理过的结构化数据存储在数据仓库中。

机器学习模块根据之前积累的历史数据生成模型。这些模型定期(例如，一个月一次)用新数据流更新。输入的数据被累积并应用于训练和创建新模型。当这些模型经过专家的测试和批准后，控制应用程序就可以使用它们，以响应新的传感器数据发送命令或警报。

总结

物联网产生大量数据，可用于实时监控、分析、流程优化和预测性维护等。然而，应该记住，从各种格式的海量数据中获得有价值的见解并不是一件容易事情：您需要确保传感器工作正常，数据得到安全传输和有效处理。此外，始终存在一个问题：哪些数据值得存储和处理。

尽管存在一些挑战和问题，但应记住，物联网的发展势头强劲，并可以帮助多个行业的企业开辟新的数字机遇。

作为一位物联网小白，是时候分享自己对物联网这个庞然大物一些简单的解析了。
众所周知，物联网的范围很广很广。在人们都意识生活离不开互联网的时候，你会发现，其实物联网也无处不在。但是物联网又没有像互联网一样应用的很明显，能够通过音视频表现出来。物联网从2016、2017年的LoRa、NB-Iot等技术站在风口上，到2018年渐渐进入一个平稳期，很多人不确定其方向到底在哪里。
近两年一直从事物联网相关的硬件产品开发，对物联网相关知识有了浅陋的了解，对物联网方向也简单认识。简答发表个人见解。
智能家居
提到智能家居，现在我们首先想到的就是AI音箱，它是智能家居的入口，它融合了AI、物联网、大数据等技术一体，实现了人与物、物与物的相连。此类产品有亚马逊的Echo、小米的小爱、京东的叮咚、阿里的天猫精灵等。已经深入到人们的生活中。与我们的智能家居（家用电器等）相接、控制，提供人们的生活质（bi）量（ge）。未来，智能家居行业将会围绕着AI音箱等作更广的发展。如扩展到智能穿戴设备、智能医疗等方面。
畜牧业、农业物联网应用
我国是一个农业大国，也是一个畜牧业大国。物联网在农业中的应用包括植物生长环境的数据采集、农业物流跟踪、食品安全跟踪、农作物生长控制等。目前的市场来看，物联网在农业方面的应用主要还是应用于农场、果蔬基地等，其他，如物流市场、食品安全市场等都还没有很好的应用。这个和现有技术、成本以及需求等相关
畜牧业主要包括牛、羊、猪、鸡鸭鹅等。物联网在畜牧业中应用案例比较多。例如，网易猪、京东的跑步鸡、牛耳标、羊耳标等。物联网在畜牧业中应用主要是动物数据采集（健康、生长周期等）、实时定位、动物溯源（食品安全）等。现在虽有大量案例，但是技术的成熟型以及产品的必要性一直制约其发展。（只针对畜牧业本身，不涉及对应的物联网+畜牧业+金融贷款的组合产品，因为涉及到畜牧业+金融，现在就可以考虑加入区块链）
工业物联网
工业物联网的市场与应用是我目前认为市场行情最好的，也是目前物联网效果最能体现的应用场景。工厂设备改造、无线监控、设备状态检测、工业园区人员监控等需求非常多。工业物联网的应用主要是现代企业需要提高效率、降低人力成本以及维护成本，而现在的物联网解决方案恰好帮助他们解决了。其次，工业应用不像商用对产品性能以及外观等最求很高，其对使用时间，寿命稳定性等要求比较高。这些恰恰是符合物联网终端设备的要求。还有就是现在的窄带物联网技术满足长距离传输需求，符合工业场所的需求。需求和技术都能满足，所以工业物联网的前景非常明朗。
智慧城市
智慧城市这个概念比较大，智慧城市的目的是方便人们生活，智慧城市的每个部分都离不开物联网，包括安防监控、环保、停车等。智慧城市的发展在一定程度上会方便人们的生活，提高生活质量。但是，从现在已经部署的智慧城市的效果来看，并不明显。个人认为其主要原因是人们对物联网的概念还不深入，一直停留在过去的生活方式中，并且生活中的一些微小的变化并不会立刻显示出来，不会像移动互联网那样表现的特别明显。我们现在要做的就是适应时代的变化，让科技进入生活，改变生活。
物联网的应用远不止这么点，它无处不在，让科技进入我们的生活，让物联网提高我们的生活质量，这个是我们作为物联网产品人的职责。让产品进入生活，改变生活，改变物与物，万物互联。

物联网开发应用最重要的是各种接口的兼容性。

首先物联网终端设备数量比手机大得多，而且本身没有显示界面，通常只是能够通过特定网络协议回传数据的传感器（直接连入互联网或者通过网关设备），也就是说在物联网大数据汇聚的前端，数据的汇入是自动化进行的，应用开发的重点是后端的汇聚层。

物联网应用后端汇聚层需要有一个智能化软件系统（通常运行于数据中心），来管理物联网设备（包括固件升级等）、网络、处理海量数据，并提供给用户。

在设备层、汇聚层之外，物联网应用还需要一个分析层，负责处理物联网设备产生的大数据。

最后，是最终用户层，负责将有用的数据分析结果以可视化的方式展示到用户的终端设备中，这个层面的开发，可以是移动web网站也可以是一个手机APP。

由于设备层和汇聚层第三方专业产品和服务的完善，实际上今天的物联网应用开发，主要指的是分析层和用户层这两个层面，换而言之，未来物联网开发生态主要建立在成熟的云计算物联网平台上。成熟的物联网平台通常都提供汇聚层需要的大数据存储、实时信息总线以及于前端应用通讯的API。

实际上今天已经有大量面向物联网应用开发的平台，例如Xively、Mnubo、BugLabs和ThingWorx等，这些平台通常能够兼容大量物联网产品厂商的设备。

---