物联网解决方案中的大数据处

作者 | 网络大数据

来源 | raincent_com

随着物联网的演变和发展，所有可以想象到的东西(或事物)和产业都将变得更加智能：智能家居和智慧城市、智能制造机械、智能汽车、智能健康等等。无数被授权收集和交换数据的东西正在形成一个全新的网络——物联网——一个可以在云中收集数据、传输数据和完成用户任务的物理对象网络。

物联网和大数据正在走向胜利之路。不过，要想从这一创新中获益，还需要解决一些挑战和问题。在本文中，我们很高兴与大家分享多年来在物联网咨询领域积累的知识。

物联网大数据如何应用

首先，有多种方法可以从物联网大数据中获益：在某些情况下，通过快速分析就足够了，而一些有价值的见解只有在经过深入的数据处理之后才能获得。

实时监测。通过连网设备收集的数据可以用于实时 *** 作：测量家中或办公室的温度、跟踪身体活动(计算步数、监测运动)等;实时监测在医疗保健中被广泛应用(例如，获取心率、测量血压、糖分等);它还成功地应用于制造业(用于控制生产设备)、农业(用于监测牛和作物)和其他行业。

数据分析。在处理物联网生成的大数据时，我们有机会超越监测，并从这些数据中获得有价值的见解：识别趋势，揭示看不见的模式并找到隐藏的信息和相关性。

流程控制和优化。来自传感器的数据提供了额外的上下文情境信息，以揭示影响性能和优化流程的重要问题。

▲交通管理：跟踪不同日期和时间的交通负荷，以制定出针对交通优化的建议，例如，在特定时间段增加公共汽车的数量，看看是否有改观，以及建议引入新的交通信号灯方案和修建新的道路，以减少街道的交通拥堵状况。

▲零售：跟踪超市货架中商品的销售情况，并在商品快卖完之前及时通知工作人员补货。

▲农业：根据传感器的数据，在必要时给作物浇水。

预测性维护。通过连网设备收集的数据可以成为预测风险、主动识别潜在危险状况的可靠来源，例如：

▲医疗保健：监测患者健康状态并识别风险(例如，哪些患者有糖尿病、心脏病发作的风险)，以便及时采取措施。

▲制造业：预测设备故障，以便在故障发生之前及时解决。

还应注意的是，并非所有的物联网解决方案都需要大数据(例如，如果智能家居拥有者要借助智能手机来关灯，则可以在没有大数据的情况下执行此 *** 作)。重要的是要考虑减少处理动态数据的工作量，并避免存储将来没有用处的大量数据。

物联网中的大数据挑战

除非处理大量数据以获取有价值的见解，否则这些数据完全没用。此外，在数据收集、处理和存储方面还有各种挑战。

▲数据可靠性。虽然大数据永远不会100%准确，但在分析数据之前，请务必确保传感器工作正常，并且用于分析的数据质量可靠，且不会因各种因素(例如，机器运行的不利环境、传感器故障)而损坏。

▲要存储哪些数据。连网设备会产生万亿字节的数据，选择存储哪些数据和删除哪些数据是一项艰巨的任务。更重要的是，一些数据的价值还远远没有显现出来，但将来您可能需要这些数据。如果您决定为将来存储数据，那么面临的挑战就是以最小的成本做到这一点。

▲分析深度。一旦并非所有大数据都很重要，就会出现另一个挑战：什么时候快速分析就足够了，什么时候需要进行更深入的分析以带来更多价值。

▲安全。毫无疑问，各个领域的连网事物可以让我们的生活变得更加美好，但与此同时，数据安全也成一个非常重要的问题。网络罪犯可以侵入数据中心和设备，连接到交通系统、发电厂、工厂，并从电信运营商那里窃取个人数据。物联网大数据对于安全专家来说还是一个相对较新的现象，相关经验的缺失会增加安全风险。

物联网解决方案中的大数据处理

在物联网系统中，物联网体系架构的数据处理组件因输入数据的特性、预期结果等而不同。我们已经制定了一些方法来处理物联网解决方案中的大数据。

数据来自与事物相连的传感器。“事物”可以是任何物体：烤箱、汽车、飞机、建筑、工业机器、康复设备等。数据可以是周期性的，也可以是流式的。后者对于实时数据处理和迅速管理事物至关重要。

事物将数据发送到网关，以进行初始数据过滤和预处理，从而减少了传输到下一个物联网系统中的数据量。

边缘分析。在进行深入数据分析之前，有必要进行数据过滤和预处理，以选择某些任务所需的最相关数据。此外，此阶段还可以确保实时分析，以快速识别之前在云中通过深度分析所发现的有用模式。

对于基本协议转换和不同数据协议之间的通信，云网关是必需的。它还支持现场网关和中央物联网服务器之间的数据压缩和安全数据传输。

连网设备生成的数据以其自然格式存储在数据湖中。原始数据通过“流”进入数据湖。数据保存在数据湖中，直到可以用于业务目的。清理过的结构化数据存储在数据仓库中。

机器学习模块根据之前积累的历史数据生成模型。这些模型定期(例如，一个月一次)用新数据流更新。输入的数据被累积并应用于训练和创建新模型。当这些模型经过专家的测试和批准后，控制应用程序就可以使用它们，以响应新的传感器数据发送命令或警报。

总结

物联网产生大量数据，可用于实时监控、分析、流程优化和预测性维护等。然而，应该记住，从各种格式的海量数据中获得有价值的见解并不是一件容易事情：您需要确保传感器工作正常，数据得到安全传输和有效处理。此外，始终存在一个问题：哪些数据值得存储和处理。

尽管存在一些挑战和问题，但应记住，物联网的发展势头强劲，并可以帮助多个行业的企业开辟新的数字机遇。

传统消防主要依赖“人防+技防”的手段进行消防应急处理。传统消防由于各建筑物地理隔绝，导致消防管理分散低效，很多情况下还是依赖群众发现火情并及时报警。

同时消防人员核实信息和实施救援的时间成本较高，还会遇到情况紧急沟通不畅的情形，致使火情蔓延，耽误了宝贵的救援时间，往往造成重大损失。

智慧消防以先进的物联网手段，实时监测消防系统的运行状态，及时发现火情信息并上传至云平台，智能分析火情并将报警信息推送至联网单位及消防主管部门，实现快速判断、决策，节省宝贵的救援时间，运用科技手段减少并避免火灾损失。

是怎么实现快速决策呢？

主要是四部分结合：在线监测+安全预警+消防建档+在线指挥

举个杭州的例子

杭州市余杭区消防中队、临平街道、金桥街道、南苑街道的微型消防站开始使用。已接入智能烟感设备14669个，智能消火栓39个，电瓶车充电桩913个，119警情录入145条，微型消防站安装用户68人。

通过智能化监测分析多渠道、多平台数据，主动发现警情及隐患，实现全局感知警情；

通过实时整合资源与警情，形成全方位的情报，通过模型预案分析实现即时联动响应，快速准过模型预案分析实现即时联动响应，快速准确地传达命令，即时联动响应；

通过交通信号智能管控为救援车辆提供信号灯d性绿波保障，救援到达时间大大缩短，保障应急车辆优先通行。

在系统实战中，累计发现警情5000余起，避免4起重大财产损失。

在救护的途中，通过交通信号智能管控，平均单次节省时间达到18%，有效提升了应急时效性。

安全隐私
如射频识别技术被用于物联网系统时，RFID标签被嵌入任何物品中，比如人们的日常生活用品中，而用品的拥有者不一定能觉察，从而导致用品的拥有者不受控制地被扫描、定位和追踪，这不仅涉及到技术问题，而且还将涉及到法律问题。

WiFi技术：

WiFi方案的优势是技术成熟，单独的产品就可以接入公网，成本也是相对较低。

缺点则是WiFi设备一般功耗较大，在物联网领域中，供电是一个问题；

WiFi接入数量相对有限，一个家庭路由器一般只能接入几十个设备；

当然，WiFi方案在物联网初级阶段有较大优势，单独的WiFi模块依托路由器即可入网，优势明显，虽然接入数量不多，但是在物联网、智能家居未大规模普及的情况下，也可以满足大多数需求。

所以基于IoT UART串口WiFi模块WG219/WG229/WG231/LCS6260的WiFi方案更适用于对功耗要求不明显，不会大量部署的物联网产品，例如：智能电饭煲，智能空调、冰箱、洗衣机等传统家电设备接入物联网。

蓝牙技术：

蓝牙方案的主要优势在于蓝牙模块的超低功耗，而且通过app打开蓝牙与手机的交互比较简单。

SKB369/SKB501

目前随着蓝牙50模块SKB501（网页链接）、以及更多蓝牙50产品的上市，蓝牙技术的数据传输速度和覆盖范围等得到了巨大的提升，更加适用于物联网的要求。

所以，蓝牙方案适用于对功耗有要求，和手机可以直接交互的物联网产品，例如：智能门锁，智能秤，智能电动牙刷等，也适用于大规模蓝牙mesh灯控、蓝牙传感器网络的部署。

UWB技术：

超宽带技术是近年来新兴一项全新的、与传统通信技术有极大差异的通信无线新技术。它不需要使用传统通信体制中的载波，而是通过发送和接收具有纳秒或微秒级以下的极窄脉冲来传输数据，从而具有31~106GHz量级的带宽。目前，包括美国，日本，加拿大等在内的国家都在研究这项技术，在无线室内定位领域具有良好的前景。

UWB技术是一种传输速率高，发射功率较低，穿透能力较强并且是基于极窄脉冲的无线技术，无载波。正是这些优点，使它在室内定位领域得到了较为精确的结果。

超宽带室内定位技术常采用TDOA演示测距定位算法，就是通过信号到达的时间差，通过双曲线交叉来定位的超宽带系统包括产生、发射、接收、处理极窄脉冲信号的无线电系统。而超宽带室内定位系统则包括UWB接收器、UWB参考标签和主动UWB标签。定位过程中由UWB接收器接收标签发射的UWB信号，通过过滤电磁波传输过程中夹杂的各种噪声干扰，得到含有效信息的信号，再通过中央处理单元进行测距定位计算分析。

超宽带可用于室内精确定位，例如战场士兵的位置发现、机器人运动跟踪等。超宽带系统与传统的窄带系统相比，具有穿透力强、功耗低、抗干扰效果好、安全性高、系统复杂度低、能提供精确定位精度等优点。因此，超宽带技术可以应用于室内静止或者移动物体以及人的定位跟踪与导航，且能提供十分精确的定位精度。根据不同公司使用的技术手段或算法不同，精度可保持在01 m~05 m。

1、找到您企业网络上的所有物联网设备并关闭。这是最简单的：您无法保护您根本不知道其存在的东西。找到所有连接到您企业网络的设备，这不仅包括传统的IT设备，而且还包括智能电视，恒温器，员工的可穿戴设备，等等。
2、如果您企业没有能力这样做，有许多公司能够提供这方面的服务。OpenDNS可以帮助您企业跟踪网络活动及网络与这些网络活动相关的个人设备上。SysAid公司能够提供网络发现工具，帮助您找到网络上的所有设备。Pwnie Express和Bastille还能够帮助您发现在办公室的所有有线和无线设备，以及这些设备是否连接到网络。
3、检查网络身份验证和访问权限。哪些规则控制怎样的设备可以连接到您企业的网络，以及他们有什么样的访问权限此前，在制定这些规则和访问权限时，并为考虑到物联网设备的因素，那么，现在是将眼光扩展到物联网领域，针对这些规则进行审视的一个很好的机会。例如，员工的智能手表是否被允许连接到企业网络，如果有，他们有什么样的访问权限温控器呢电灯泡呢暖通空调设备呢
4、锁定外部连接到您的网络。什么样的外部服务，网络和承包商能够连接到您的网络您企业的暖通空调承包商是否有权限连接到您企业网络您企业的设施部门与制造车间的连接状况如何他们有很多的设备可能会导致问题。思科安全解决方案的安全实践经理马克·哈蒙德说，“一套全面的安全计划的一部分是对第三方风险和供应商风险的管理。了解企业所有的供应商，毕竟，您企业的相关数据是在这些企业之间传输，并且要让您企业的安全控制到位。” 因此企业必须进行详细的审查，加强网络安全连接，建立相关的规则，规定承包商是否可以访问您企业的网络，以及如何访问。
5、对所有物联网设备制定安全标准。SANS研究所的约翰·佩斯卡托建议说，从采购周期开始，您企业就需要考虑网络安全了。这适用于任何连接到企业网络的设备，而并不仅仅意味着IT设备。现在，除了有智能恒温器，已经有智能冰箱和智能灯泡了。因此，安全标准需要针对一切会进入企业的设备来设置。除非相关设备符合这些标准，否则就不应该被允许访问企业网络。
6、重新反思IT在安全中的作用。专家认为，在物联网世界中，企业需要做的最重要的事情之一是重新思考安全在整个企业的角色作用。一家企业通常都是按照职能所组织架构起来的，如设备部门负责采购和维护采暖和空调系统等设备;而生产部门则负责处理生产相关的设备，包括控制设备;而IT部门则负责电脑，BYOD设备以及网络。但在物联网的世界中，这可能会导致问题。

物联网将大量非结构化的大数据发送到公司和基于云的系统中,这些系统收集这些数据以报告每辆卡车和货物的状态，并发送可查询以进行分析的大量信息，毫不奇怪，物流公司和卡车司机自身在跨美国运输货物时已迅速变得依赖于这些系统，并且运营效率也得到了提高，物联网附带的安全风险包括物联网为黑客提供的系统的切入点，以及当黑客入侵其他系统时物联网所带来的风险，然后所有物联网和周围的 *** 作必须手动进行，这使安全性和风险管理成为公司应解决的IoT战略的关键要素。

智慧消防物联网整体解决方案内容
（一）建立分级预警的消防大数据应用平台。综合利用移动物联网、云计算、大数据等技术，基于有线、无线、移动互联网、NB-IoT等现代通信方式，依托“金智云”智慧消防大数据服务平台，建立分级预警的消防大数据应用平台，将城市物联网消防远程监控系统、智慧安全用电监控系统、智能独立式感烟报警系统、智慧消火栓管理系统、城市高清视频监控系统、单位日常消防巡查管理系统、移动执法手机APP系统集成一网运行，实现在线监测、智能分析和分级预警功能，并与消防应急指挥系统互联互通。
（二）安装NB-IoT智能独立火灾（可燃气体）探测报警器在全所辖范围内进行大面积的铺设及应用。重点推动在老旧高层建筑、学生（员工）集体宿舍、养老福利机构、集贸市场、群租房、棚户区、“三合一”场所和其他“九小”场所安装使用NB-IoT智能独立火灾（可燃气体）探测报警器。特别是居民住宅户内安装智能独立火灾探测报警器、独立式可燃气体探测器。及时将报警信号上传系统，系统自动播报或通过手机APP和短信、微信报警等方式向业主、物业、社区、微型消防站等发出警报，实现火警快速联动应急响应。
（三）为重点场所消防设施进行物联网改造升级建设方案。对已设有自动消防设施的高层（地下）建筑、消防安全重点单位进行消防物联网技术改造，设置数据传输装置，增设水压、水位、阀门启闭和防火门、防排烟设备等开关状态的监测装置，利用视频监控系统监控安全出口和疏散通道、消防控制室值班情况；接入电气火灾监控系统有关漏电电流、线缆温度等数据；将消防设施和电气安全等监测信息全部接入城市消防远程监控系统，值班人员可利用手机APP，动态监控、立体呈现联网单位消防安全状态，提高消防设施的完好率。
（四）推动智慧安全用电监测装置的普及应用。重点推广基于NB-IoT的智慧安全用电装置、电气火灾监控系统在文物建筑、寄宿制学校（幼儿园）、养老（社会福利）机构、医院等人员密集场所以及火灾高危场所的安装使用，着力解决由于电气设备（线路）故障、用电不当等原因引起火灾的安全问题。对配电系统的过剩余电流、短路、过温度等电气故障进行实时的监控、报警、反馈、记录，建立智慧电气监测消防预警及远程自动断电功能系统，提高单位和个人用电安全管理能力、电气安全隐患处理能力。
（五）运用物联网消火栓，市政水源监测系统，实现市政消火栓“智能化”管理维护。为市政水源官网、消火栓建立“智慧消火栓管理系统”，通过物联网技术，对市政消火栓实施精准定位、水压监测、破坏报警，满足市政消火栓维护保养和灭火作战需要。金特莱将智慧消火栓管理系统接入消防远程监控平台,实现实时显示消火栓的定位、供水压力、移动终端远程现场管理，监测被盗、偷水、损坏、被撞等异常情况，为灭火救援行动提供消火栓智能分配等功能。
（六）重点行业搭建消防物联网远程监控系统分平台。教体、卫健、民政、文旅、住建及石化、供电、邮政、银行、烟草等重点行业系统应当结合本行业系统物联网建设，建立行业系统物联网消防远程监控系统分平台，实时采集本行业系统监控现场的各类消防报警信号、故障信号、图像信息，并接入城市物联网消防远程监控系统，实现行业系统消防安全风险在线分析研判，全面压实单位消防安全主体责任和行业监管责任。
（七）社区搭建物业消防物联网远程监控系统子平台。建立社区消防物联网远程监控子平台，将社区内的消防设施监控、独立烟感报警器、燃气报警器等报警信息纳入监测，实时上传系统，并与社区物业值班员、微型消防站队员实现手机APP无线联动，强化消防网格化管理。推动社区养老场所、幼儿（托管）教育场所和重点服务人群活动场所安装NB-IoT智能独立烟感、智能独立可燃气体探测报警及智慧安全用电装置。
（八）消防技术服务机构建立消防维保物联网监控系统。将消防技术服务机构建立或使用消防维保物联网监控系统纳入执业监管重要内容，依法督促消防维保服务机构利用物联网技术，对所服务项目的消防设施运行、故障报警等进行实时监控，解决消防设施故障处理不及时，维保质量不高等问题，规范消防维保服务工作流程，提高服务质量。

---