物联网解决方案中的大数据处

作者 | 网络大数据

来源 | raincent_com

随着物联网的演变和发展，所有可以想象到的东西(或事物)和产业都将变得更加智能：智能家居和智慧城市、智能制造机械、智能汽车、智能健康等等。无数被授权收集和交换数据的东西正在形成一个全新的网络——物联网——一个可以在云中收集数据、传输数据和完成用户任务的物理对象网络。

物联网和大数据正在走向胜利之路。不过，要想从这一创新中获益，还需要解决一些挑战和问题。在本文中，我们很高兴与大家分享多年来在物联网咨询领域积累的知识。

物联网大数据如何应用

首先，有多种方法可以从物联网大数据中获益：在某些情况下，通过快速分析就足够了，而一些有价值的见解只有在经过深入的数据处理之后才能获得。

实时监测。通过连网设备收集的数据可以用于实时 *** 作：测量家中或办公室的温度、跟踪身体活动(计算步数、监测运动)等;实时监测在医疗保健中被广泛应用(例如，获取心率、测量血压、糖分等);它还成功地应用于制造业(用于控制生产设备)、农业(用于监测牛和作物)和其他行业。

数据分析。在处理物联网生成的大数据时，我们有机会超越监测，并从这些数据中获得有价值的见解：识别趋势，揭示看不见的模式并找到隐藏的信息和相关性。

流程控制和优化。来自传感器的数据提供了额外的上下文情境信息，以揭示影响性能和优化流程的重要问题。

▲交通管理：跟踪不同日期和时间的交通负荷，以制定出针对交通优化的建议，例如，在特定时间段增加公共汽车的数量，看看是否有改观，以及建议引入新的交通信号灯方案和修建新的道路，以减少街道的交通拥堵状况。

▲零售：跟踪超市货架中商品的销售情况，并在商品快卖完之前及时通知工作人员补货。

▲农业：根据传感器的数据，在必要时给作物浇水。

预测性维护。通过连网设备收集的数据可以成为预测风险、主动识别潜在危险状况的可靠来源，例如：

▲医疗保健：监测患者健康状态并识别风险(例如，哪些患者有糖尿病、心脏病发作的风险)，以便及时采取措施。

▲制造业：预测设备故障，以便在故障发生之前及时解决。

还应注意的是，并非所有的物联网解决方案都需要大数据(例如，如果智能家居拥有者要借助智能手机来关灯，则可以在没有大数据的情况下执行此 *** 作)。重要的是要考虑减少处理动态数据的工作量，并避免存储将来没有用处的大量数据。

物联网中的大数据挑战

除非处理大量数据以获取有价值的见解，否则这些数据完全没用。此外，在数据收集、处理和存储方面还有各种挑战。

▲数据可靠性。虽然大数据永远不会100%准确，但在分析数据之前，请务必确保传感器工作正常，并且用于分析的数据质量可靠，且不会因各种因素(例如，机器运行的不利环境、传感器故障)而损坏。

▲要存储哪些数据。连网设备会产生万亿字节的数据，选择存储哪些数据和删除哪些数据是一项艰巨的任务。更重要的是，一些数据的价值还远远没有显现出来，但将来您可能需要这些数据。如果您决定为将来存储数据，那么面临的挑战就是以最小的成本做到这一点。

▲分析深度。一旦并非所有大数据都很重要，就会出现另一个挑战：什么时候快速分析就足够了，什么时候需要进行更深入的分析以带来更多价值。

▲安全。毫无疑问，各个领域的连网事物可以让我们的生活变得更加美好，但与此同时，数据安全也成一个非常重要的问题。网络罪犯可以侵入数据中心和设备，连接到交通系统、发电厂、工厂，并从电信运营商那里窃取个人数据。物联网大数据对于安全专家来说还是一个相对较新的现象，相关经验的缺失会增加安全风险。

物联网解决方案中的大数据处理

在物联网系统中，物联网体系架构的数据处理组件因输入数据的特性、预期结果等而不同。我们已经制定了一些方法来处理物联网解决方案中的大数据。

数据来自与事物相连的传感器。“事物”可以是任何物体：烤箱、汽车、飞机、建筑、工业机器、康复设备等。数据可以是周期性的，也可以是流式的。后者对于实时数据处理和迅速管理事物至关重要。

事物将数据发送到网关，以进行初始数据过滤和预处理，从而减少了传输到下一个物联网系统中的数据量。

边缘分析。在进行深入数据分析之前，有必要进行数据过滤和预处理，以选择某些任务所需的最相关数据。此外，此阶段还可以确保实时分析，以快速识别之前在云中通过深度分析所发现的有用模式。

对于基本协议转换和不同数据协议之间的通信，云网关是必需的。它还支持现场网关和中央物联网服务器之间的数据压缩和安全数据传输。

连网设备生成的数据以其自然格式存储在数据湖中。原始数据通过“流”进入数据湖。数据保存在数据湖中，直到可以用于业务目的。清理过的结构化数据存储在数据仓库中。

机器学习模块根据之前积累的历史数据生成模型。这些模型定期(例如，一个月一次)用新数据流更新。输入的数据被累积并应用于训练和创建新模型。当这些模型经过专家的测试和批准后，控制应用程序就可以使用它们，以响应新的传感器数据发送命令或警报。

总结

物联网产生大量数据，可用于实时监控、分析、流程优化和预测性维护等。然而，应该记住，从各种格式的海量数据中获得有价值的见解并不是一件容易事情：您需要确保传感器工作正常，数据得到安全传输和有效处理。此外，始终存在一个问题：哪些数据值得存储和处理。

尽管存在一些挑战和问题，但应记住，物联网的发展势头强劲，并可以帮助多个行业的企业开辟新的数字机遇。

原创不易，收藏关注

万物互联，相生相惜。

从技术角度而言，物联网就是通过射频识别、zig bee技术、红外感应器、全球定位系统、激光扫描器、气体感应器等各种传感设备，按约定的协议，把任何物品与互联网连接起来，进行信息交换和通讯，以实现智能化识别、定位、跟踪、监控和管理的一种网络。简而言之，物联网就是“ 物物相联的互联网 ”。

物联网给世界的启发是： 只要你能想象得到，它就能做的出 。

我们对于灵活的复杂的要去中心化，但是我们对于简单的呆板的就要讲究中心化 。这就是未来物联网的精髓： 区块链式的物联网 。我们知道区块链技术解决了信任问题，安全问题，是因为它本身去中心化的特点，而物联网又需要中心化，比如今天我们说的智能家居控制系统和解决方案。

什么是智能家居

顾名思义，容易得出：首先它是家庭设备、用品，家庭生活所必须的一些“死物”，也可以说是事物，就是把你的住所从各个方面赋予智能化，让你更容易管控。先从广义而言，大致分为以下几点：

1灯光 娱乐 系统： 灯光和电器比较多，开关起来很麻烦

解决方案：可以用智能触控面板，是家里灯光窗帘和家电的集中控制中心。第一、可以控制某一盏灯，也可以控制某一条灯带；第二、控制某个房间的某电器，比如打开客厅空调（演示）；第三、一键实现场景切换，例如想看按下影院模式，看看我们周围的变化电视机自动关闭、投影幕下降功放打开了。第四、自动监测空气质量温度湿度，当空气质量不达标时发送报警信息，并且可以联动空气净化器开始净化。

2安防系统：报警及联动功能

安装门磁、窗磁，防止非法入侵，安装网络摄像头，实时监控，人影监控。管理系统可通过安装在住户室内的报警控制器得到信号从而快速接警处理。报警联动控制可在室内发生报警时，系统向外发出报警信息的同时，自动打开室内的照明灯光、启动警号等。

紧急求助功能： 室内的报警控制器具有紧急呼叫功能，管理系统可对住户的紧急求助信号做出回应和救助。

离家模式即防盗报警状态： 防止非法入侵，管理系统可实时接收报警信号，自动显示报警住户号和报警类型，并自动进行系统信息存档。

预设报警功能可预设报警电话。

在家设防模式：安全防范系统可联动切断某些家用电器的电源。在家撤防模式，部分照明灯自动打开，门磁和窗磁离线，室内烟感探测器和厨房可燃气体探测器仍为报警模式。

警情后控制处理：当家中有非法入侵者或者煤气泄漏时系统会自动拨打电话、发送短信、彩信、抓拍并发到指定用户手机！用户收到电话短信时可以第一时间用手机电脑查看家中监控画面并控制其家中家电设置、布防撤防等 *** 作！

3家电系统： 家里带遥控器控制的产品又很多，虽然基本都是智能产品但是控制每一个都需要下载一个app或者找到遥控器，电视一个、机顶盒一个，热水器一个、空调好几个很是麻烦，红外转发器能把他们集中到一个中控主机下进行控制。可以是控制面板，也可以是手机APP。

4智能环境感知系统 ：该系统主要包括，温湿度传感器、风雨雷电报警器、空气PM25质量检测等，当检测到周围环境异常会自动关联相关产品进行解决。例如温湿度传感器感测到家温度过高，会启动空调自动降温；风雨雷电感测器感知到下雨会关联推窗器自动关窗等。

还有智能睡眠系统，智能声控系统，智能教育陪伴机器人，智能指纹人脸识别锁，等等。

最后把这几大系统统一到一起，你只需安装一个中央控制面板，再装一个APP，在家实现全程智能控制，上班也能控制全屋，那是多么美妙的事情。

其实无论是智慧家居，智慧办公，智慧养老，智慧酒店都属于智慧城市大范畴，也属于国家战略。

智能家居使得物联网的应用更加生活化，具有网络远程控制、遥控器控制、触摸开关控制、自动报警和自动定时等功能，安装简单，变更扩展和维护非常容易，开关面板颜色多样，图案个性，给每一个家庭带来不一样的生活体验。

备注：我发的视频里面有智能家居的场景应用

物联网的体系结构可以分为感知层，网络层和应用层三个层次。

感知层。是物联网发展和应用的基础，包括传感器或读卡器等数据采集设备、数据接入到网关之前的传感器网络。感知层以RFID、传感与控制、短距离无线通信等为主要技术，其任务是识别物体和采集系统中的相关信息，从而实现对“物”的认识与感知。

网络层。是建立在现有通信网络和互联网基础之上的融合网络，网络层通过各种接入设备与移动通信网和互联网相连，其主要任务是通过现有的互联网、广电网络、通信网络等实现信息的传输、初步处理、分类、聚合等，用于沟通感知层和应用层。目前国内通信设备和运营商实力较强，是我国互联网技术领域最成熟的部分。

应用层。是将物联网技术与专业技术相互融合，利用分析处理的感知数据为用户提供丰富的特定服务。应用层是物联网发展的目的。物联网的应用可分为控制型、查询型、管理型和扫描型等，可通过现有的手机、电脑等终端实现广泛的智能化应用解决方案。

资料拓展：

物联网的整个结构可分为射频识别系统和信息网络系统两部分。射频识别系统主要由标签和读写器组成，两者通过RFID空中接口通信。读写器获取产品标识后，通过internet或其他通讯方式将产品标识上传至信息网络系统的中间件，然后通过ONS解析获取产品的对象名称，继而通过EPC信息服务的各种接口获得产品信息的各种相关服务。整个信息系统的运行都会借助internet的网络系统，利用在internet基础上的发展出的通信协议和描述语言。

因此我们可以说物联网是架构在internet基础上的关于各种物理产品信息服务的总和。从应用角度来看，物联网中三个层次值得关注，也即是说，物联网由三部分组成：一是传感网络，即以二维码、RFID、传感器为主，实现对“物”的识别。二是传输网络，即通过现有的互联网、广电网络、通信网络等实现数据的传输与计算。三是应用网络，即输入输出控制终端。

---