物联网解决方案中的大数据处

作者 | 网络大数据

来源 | raincent_com

随着物联网的演变和发展，所有可以想象到的东西(或事物)和产业都将变得更加智能：智能家居和智慧城市、智能制造机械、智能汽车、智能健康等等。无数被授权收集和交换数据的东西正在形成一个全新的网络——物联网——一个可以在云中收集数据、传输数据和完成用户任务的物理对象网络。

物联网和大数据正在走向胜利之路。不过，要想从这一创新中获益，还需要解决一些挑战和问题。在本文中，我们很高兴与大家分享多年来在物联网咨询领域积累的知识。

物联网大数据如何应用

首先，有多种方法可以从物联网大数据中获益：在某些情况下，通过快速分析就足够了，而一些有价值的见解只有在经过深入的数据处理之后才能获得。

实时监测。通过连网设备收集的数据可以用于实时 *** 作：测量家中或办公室的温度、跟踪身体活动(计算步数、监测运动)等;实时监测在医疗保健中被广泛应用(例如，获取心率、测量血压、糖分等);它还成功地应用于制造业(用于控制生产设备)、农业(用于监测牛和作物)和其他行业。

数据分析。在处理物联网生成的大数据时，我们有机会超越监测，并从这些数据中获得有价值的见解：识别趋势，揭示看不见的模式并找到隐藏的信息和相关性。

流程控制和优化。来自传感器的数据提供了额外的上下文情境信息，以揭示影响性能和优化流程的重要问题。

▲交通管理：跟踪不同日期和时间的交通负荷，以制定出针对交通优化的建议，例如，在特定时间段增加公共汽车的数量，看看是否有改观，以及建议引入新的交通信号灯方案和修建新的道路，以减少街道的交通拥堵状况。

▲零售：跟踪超市货架中商品的销售情况，并在商品快卖完之前及时通知工作人员补货。

▲农业：根据传感器的数据，在必要时给作物浇水。

预测性维护。通过连网设备收集的数据可以成为预测风险、主动识别潜在危险状况的可靠来源，例如：

▲医疗保健：监测患者健康状态并识别风险(例如，哪些患者有糖尿病、心脏病发作的风险)，以便及时采取措施。

▲制造业：预测设备故障，以便在故障发生之前及时解决。

还应注意的是，并非所有的物联网解决方案都需要大数据(例如，如果智能家居拥有者要借助智能手机来关灯，则可以在没有大数据的情况下执行此 *** 作)。重要的是要考虑减少处理动态数据的工作量，并避免存储将来没有用处的大量数据。

物联网中的大数据挑战

除非处理大量数据以获取有价值的见解，否则这些数据完全没用。此外，在数据收集、处理和存储方面还有各种挑战。

▲数据可靠性。虽然大数据永远不会100%准确，但在分析数据之前，请务必确保传感器工作正常，并且用于分析的数据质量可靠，且不会因各种因素(例如，机器运行的不利环境、传感器故障)而损坏。

▲要存储哪些数据。连网设备会产生万亿字节的数据，选择存储哪些数据和删除哪些数据是一项艰巨的任务。更重要的是，一些数据的价值还远远没有显现出来，但将来您可能需要这些数据。如果您决定为将来存储数据，那么面临的挑战就是以最小的成本做到这一点。

▲分析深度。一旦并非所有大数据都很重要，就会出现另一个挑战：什么时候快速分析就足够了，什么时候需要进行更深入的分析以带来更多价值。

▲安全。毫无疑问，各个领域的连网事物可以让我们的生活变得更加美好，但与此同时，数据安全也成一个非常重要的问题。网络罪犯可以侵入数据中心和设备，连接到交通系统、发电厂、工厂，并从电信运营商那里窃取个人数据。物联网大数据对于安全专家来说还是一个相对较新的现象，相关经验的缺失会增加安全风险。

物联网解决方案中的大数据处理

在物联网系统中，物联网体系架构的数据处理组件因输入数据的特性、预期结果等而不同。我们已经制定了一些方法来处理物联网解决方案中的大数据。

数据来自与事物相连的传感器。“事物”可以是任何物体：烤箱、汽车、飞机、建筑、工业机器、康复设备等。数据可以是周期性的，也可以是流式的。后者对于实时数据处理和迅速管理事物至关重要。

事物将数据发送到网关，以进行初始数据过滤和预处理，从而减少了传输到下一个物联网系统中的数据量。

边缘分析。在进行深入数据分析之前，有必要进行数据过滤和预处理，以选择某些任务所需的最相关数据。此外，此阶段还可以确保实时分析，以快速识别之前在云中通过深度分析所发现的有用模式。

对于基本协议转换和不同数据协议之间的通信，云网关是必需的。它还支持现场网关和中央物联网服务器之间的数据压缩和安全数据传输。

连网设备生成的数据以其自然格式存储在数据湖中。原始数据通过“流”进入数据湖。数据保存在数据湖中，直到可以用于业务目的。清理过的结构化数据存储在数据仓库中。

机器学习模块根据之前积累的历史数据生成模型。这些模型定期(例如，一个月一次)用新数据流更新。输入的数据被累积并应用于训练和创建新模型。当这些模型经过专家的测试和批准后，控制应用程序就可以使用它们，以响应新的传感器数据发送命令或警报。

总结

物联网产生大量数据，可用于实时监控、分析、流程优化和预测性维护等。然而，应该记住，从各种格式的海量数据中获得有价值的见解并不是一件容易事情：您需要确保传感器工作正常，数据得到安全传输和有效处理。此外，始终存在一个问题：哪些数据值得存储和处理。

尽管存在一些挑战和问题，但应记住，物联网的发展势头强劲，并可以帮助多个行业的企业开辟新的数字机遇。

1、云物联：

“物联网就是物物相连的互联网”。这有两层意思：第一，物联网的核心和基础仍然是互联网，是在互联网基础上的延伸和扩展的网络；第二，其用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通信。

2、云安全：

云安全(CloudSecurity)是一个从“云计算”演变而来的新名词。云安全的策略构想是：使用者越多，每个使用者就越安全，因为如此庞大的用户群，足以覆盖互联网的每个角落，只要某个网站被挂马或某个新木马病毒出现，就会立刻被截获。

“云安全”通过网状的大量客户端对网络中软件行为的异常监测，获取互联网中木马、恶意程序的最新信息，推送到Server端进行自动分析和处理，再把病毒和木马的解决方案分发到每一个客户端。

3、云存储：

云存储是在云计算(cloudcomputing)概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。

4、云游戏：

云游戏是以云计算为基础的游戏方式，在云游戏的运行模式下，所有游戏都在服务器端运行，并将渲染完毕后的游戏画面压缩后通过网络传送给用户。在客户端，用户的游戏设备不需要任何高端处理器和显卡，只需要基本的视频解压能力就可以了。

5、云计算：

从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式计算架构。它的特色在于对海量数据的挖掘,但它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。

EPC与物联网
以简单RFID系统为基础，结合已有的网络技术、数据库技术、中间件技术等，构筑一个由大量联网的阅读器和无数移动的标签组成的，比Internet更为庞大的物联网成为RFID技术发展的趋势。在这个网络中，系统可以自动的、实时的对物体进行识别、定位、追踪、监控并触发相应事件。

目前较为成型的分布式网络集成框架是EPCglobal提出的EPC网络。EPC网络主要是针对物流领域，其目的是增加供应链的可视性（visibility）和可控性（control），使整个物流领域能够借助RFID技术获得更大的经济效益。

EPC网络的关键技术包括：

EPC编码：长度为64位、96位和256位的ID编码，出于成本的考虑现在主要采用64位和96位两种编码。EPC编码分为四个字段，分别为：①头部，标识编码的版本号，这样就可使电子产品编码采用不同的长度和类型；②产品管理者，如产品的生产商；③产品所属的商品类别；④单品的唯一编号。

Savant，介于阅读器与企业应用之间的中间件，为企业应用提供一系列计算功能。它首要任务是减少从阅读器传往企业应用的数据量,对阅读器读取的标签数据进行过滤、汇集、计算等 *** 作，同时Savant还提供与ONS、PML服务器、其他Savant互 *** 作功能。

对象名字服务，类似于域名服务器DNS，ONS提供将EPC编码解析为一个或一组URLs的服务，通过URLs可获得与EPC相关产品的进一步信息。

信息服务，以PML格式存储产品相关信息，可供其他的应用进行检索，并以PML的格式返回。存储的信息可分为两大类，一类是与时间相关的历史事件记录，如原始的RFID阅读事件（记录标签在什么时间，被哪个阅读器阅读），高层次的活动记录如交易事件（记录交易涉及的标签）等；另一类是产品固有属性信息，如产品生产时间、过期时间、体积、颜色等。

物理标示语言，PML是在XML的基础上扩展而来，被视为描述所有自然物体、过程和环境的统一标准。在EPC网络中，所有有关商品的信息都以物理标示语言PML来描述，是EPC网络信息存储和交换的标准格式。

什么是DNS 泛洪？

域名系统(DNS ) 服务器是 Internet 的“电话簿”；它们是 Internet 设备能够查找特定 Web 服务器以访问 Internet 内容的路径。DNS 泛洪是一种分布式拒绝服务攻击(DDoS)，攻击者可以泛洪特定域的DNS 服务器，试图破坏该域的DNS 解析 如果用户无法找到电话簿，则无法通过查找地址来调用特定资源。通过中断 DNS 解析，DNS 洪水攻击将危及网站、API 或 Web 应用程序对合法流量的响应能力。DNS 洪水攻击可能难以与正常的大量流量区分开来，因为大量流量通常来自多个独特的位置，查询域上的真实记录，模仿合法流量。
DNS 泛洪攻击是如何工作的？

域名系统的功能是在容易记住的名称（例如examplecom）和难以记住的网站服务器地址（例如19216801）之间进行转换，因此成功攻击DNS 基础设施使大多数人无法使用Internet。DNS Flood攻击构成了一个相对较新的类型的基于DNS的攻击已经与高带宽的崛起增殖物联网（IOT）的互联网 僵尸网络就像未来。DNS Flood 攻击利用 IP 摄像机、DVR 盒和其他物联网设备的高带宽连接，直接淹没主要提供商的 DNS 服务器。来自物联网设备的大量请求使 DNS 提供商的服务不堪重负，并阻止合法用户访问提供商的 DNS 服务器。

DNS 泛洪攻击不同于DNS 放大攻击。与DNS 泛洪不同，DNS 放大攻击会反射和放大来自不安全 DNS 服务器的流量，以隐藏攻击源并提高其有效性。DNS 放大攻击使用连接带宽较小的设备向不安全的DNS 服务器发出大量请求。这些设备对非常大的DNS 记录发出许多小请求，但是在发出请求时，攻击者将返回地址伪造为目标受害者的返回地址。放大允许攻击者仅用有限的攻击资源就可以消灭更大的目标。

如何缓解DNS Flood 攻击？

DNS 泛洪代表了传统基于放大的攻击方法的变化。借助易于访问的高带宽僵尸网络，攻击者现在可以瞄准大型组织。在可以更新或更换受感染的物联网设备之前，抵御这些类型攻击的唯一方法是使用非常庞大且高度分布式的 DNS 系统，该系统可以实时监控、吸收和阻止攻击流量。

物联网的功能组件：

设备。包括现有常用的设备，例如智能仪表或车辆，这些连接组件已集成到产品设计中。也包括由于物联网技术而出现的新设备，例如宠物追踪器。这样的设备必须具有传感器、通信功能，还将具有其他元素(例如，电源)。另外，根据设备的类型，它可能具有HMI。

传感器和执行器已连接的设备。传感器能够从环境中捕获数据(例如，温度)。执行器响应指令并进行更改设备状态(例如，调节恒温器的温度)。执行器的指令可以来自同一设备上的传感器，也可以来自其他来源(例如，房主回家时，可以通过移动电话激活恒温器)。设备可以同时具有传感器，执行器两类功能。

通信硬件使设备能够连接到网络，以将数据从传感器发送到后端系统。包括用于通过蓝牙，Wi-Fi，ZigBee，LoRa，蜂窝网络(例如GSM，5G，NB-IoT，LTE-M)或多种专有技术进行无线连接或通过固定网络进行无线连接的硬件。有些设备将具有连接到多种类型网络的硬件。

–连接网络(可以是蜂窝网络，固定网络或卫星网络)可以通过Internet或专用网络将来自传感器的数据传递到用户的后端系统。

此外，可以将各种不同的应用软件为最终用户提供附加价值。

–服务端软件包括用于收集和分析来自传感器和其他来源的数据(例如，天气预报数据)的服务器。这些服务端系统可以在公共或私有云或本地硬件中找到。对于非常简单的系统，服务端软件可以是标准PC。

–设备管理，安全性和数据分析等软件平台可确保IoT设备正常运行。这样的平台还包括用于分析数据并改善业务流程的数据分析软件，以及用于存储数据的数据库。

–应用软件还包括计费和客户支持等服务。

物联网价值链还包括设计，构建和管理物联网服务的系统集成商(SI)或开发人员。物理设备通常需要安装和维护。

天工测控主要面对安防，车载，物联网，无人机，机器人，智能家居一类生产企业，提供核心模块技术和方案。其中就包含提供位置信号的定位模块及基于位置信号的应用方案，比如我们的GPS模块、北斗模块、组合导航模块和蓝牙室内定位方案、室内外无缝定位方案、UWB测距应用等；然后把各种信息连接起来，服务于我们智能生活中的无线模块及应用方案，比如WiFi模块、BLE蓝牙模块、组合模块和智能插座方案、无线图传方案、智能照明方案、智能门锁等智能家居类应用方案，为我们的生活提供更多便利，营造一个更安全、舒适的家居环境。

---