物联网解决方案中的大数据处

作者 | 网络大数据

来源 | raincent_com

随着物联网的演变和发展，所有可以想象到的东西(或事物)和产业都将变得更加智能：智能家居和智慧城市、智能制造机械、智能汽车、智能健康等等。无数被授权收集和交换数据的东西正在形成一个全新的网络——物联网——一个可以在云中收集数据、传输数据和完成用户任务的物理对象网络。

物联网和大数据正在走向胜利之路。不过，要想从这一创新中获益，还需要解决一些挑战和问题。在本文中，我们很高兴与大家分享多年来在物联网咨询领域积累的知识。

物联网大数据如何应用

首先，有多种方法可以从物联网大数据中获益：在某些情况下，通过快速分析就足够了，而一些有价值的见解只有在经过深入的数据处理之后才能获得。

实时监测。通过连网设备收集的数据可以用于实时 *** 作：测量家中或办公室的温度、跟踪身体活动(计算步数、监测运动)等;实时监测在医疗保健中被广泛应用(例如，获取心率、测量血压、糖分等);它还成功地应用于制造业(用于控制生产设备)、农业(用于监测牛和作物)和其他行业。

数据分析。在处理物联网生成的大数据时，我们有机会超越监测，并从这些数据中获得有价值的见解：识别趋势，揭示看不见的模式并找到隐藏的信息和相关性。

流程控制和优化。来自传感器的数据提供了额外的上下文情境信息，以揭示影响性能和优化流程的重要问题。

▲交通管理：跟踪不同日期和时间的交通负荷，以制定出针对交通优化的建议，例如，在特定时间段增加公共汽车的数量，看看是否有改观，以及建议引入新的交通信号灯方案和修建新的道路，以减少街道的交通拥堵状况。

▲零售：跟踪超市货架中商品的销售情况，并在商品快卖完之前及时通知工作人员补货。

▲农业：根据传感器的数据，在必要时给作物浇水。

预测性维护。通过连网设备收集的数据可以成为预测风险、主动识别潜在危险状况的可靠来源，例如：

▲医疗保健：监测患者健康状态并识别风险(例如，哪些患者有糖尿病、心脏病发作的风险)，以便及时采取措施。

▲制造业：预测设备故障，以便在故障发生之前及时解决。

还应注意的是，并非所有的物联网解决方案都需要大数据(例如，如果智能家居拥有者要借助智能手机来关灯，则可以在没有大数据的情况下执行此 *** 作)。重要的是要考虑减少处理动态数据的工作量，并避免存储将来没有用处的大量数据。

物联网中的大数据挑战

除非处理大量数据以获取有价值的见解，否则这些数据完全没用。此外，在数据收集、处理和存储方面还有各种挑战。

▲数据可靠性。虽然大数据永远不会100%准确，但在分析数据之前，请务必确保传感器工作正常，并且用于分析的数据质量可靠，且不会因各种因素(例如，机器运行的不利环境、传感器故障)而损坏。

▲要存储哪些数据。连网设备会产生万亿字节的数据，选择存储哪些数据和删除哪些数据是一项艰巨的任务。更重要的是，一些数据的价值还远远没有显现出来，但将来您可能需要这些数据。如果您决定为将来存储数据，那么面临的挑战就是以最小的成本做到这一点。

▲分析深度。一旦并非所有大数据都很重要，就会出现另一个挑战：什么时候快速分析就足够了，什么时候需要进行更深入的分析以带来更多价值。

▲安全。毫无疑问，各个领域的连网事物可以让我们的生活变得更加美好，但与此同时，数据安全也成一个非常重要的问题。网络罪犯可以侵入数据中心和设备，连接到交通系统、发电厂、工厂，并从电信运营商那里窃取个人数据。物联网大数据对于安全专家来说还是一个相对较新的现象，相关经验的缺失会增加安全风险。

物联网解决方案中的大数据处理

在物联网系统中，物联网体系架构的数据处理组件因输入数据的特性、预期结果等而不同。我们已经制定了一些方法来处理物联网解决方案中的大数据。

数据来自与事物相连的传感器。“事物”可以是任何物体：烤箱、汽车、飞机、建筑、工业机器、康复设备等。数据可以是周期性的，也可以是流式的。后者对于实时数据处理和迅速管理事物至关重要。

事物将数据发送到网关，以进行初始数据过滤和预处理，从而减少了传输到下一个物联网系统中的数据量。

边缘分析。在进行深入数据分析之前，有必要进行数据过滤和预处理，以选择某些任务所需的最相关数据。此外，此阶段还可以确保实时分析，以快速识别之前在云中通过深度分析所发现的有用模式。

对于基本协议转换和不同数据协议之间的通信，云网关是必需的。它还支持现场网关和中央物联网服务器之间的数据压缩和安全数据传输。

连网设备生成的数据以其自然格式存储在数据湖中。原始数据通过“流”进入数据湖。数据保存在数据湖中，直到可以用于业务目的。清理过的结构化数据存储在数据仓库中。

机器学习模块根据之前积累的历史数据生成模型。这些模型定期(例如，一个月一次)用新数据流更新。输入的数据被累积并应用于训练和创建新模型。当这些模型经过专家的测试和批准后，控制应用程序就可以使用它们，以响应新的传感器数据发送命令或警报。

总结

物联网产生大量数据，可用于实时监控、分析、流程优化和预测性维护等。然而，应该记住，从各种格式的海量数据中获得有价值的见解并不是一件容易事情：您需要确保传感器工作正常，数据得到安全传输和有效处理。此外，始终存在一个问题：哪些数据值得存储和处理。

尽管存在一些挑战和问题，但应记住，物联网的发展势头强劲，并可以帮助多个行业的企业开辟新的数字机遇。

云计算与大数据概述
云计算(cloud computing)是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。狭义云计算指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源;广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务。它意味着计算能力也可作为一种商品通过互联网进行流通。
大数据(big data)，或称海量数据，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据的4V特点：Volume、Velocity、Variety、Veracity。
从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式计算架构。它的特色在于对海量数据的挖掘,但它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。
大数据管理，分布式进行文件系统，如Hadoop、Mapreduce数据分割与访问执行;同时SQL支持，以Hive+HADOOP为代表的SQL界面支持，在大数据技术上用云计算构建下一代数据仓库成为热门话题。从系统需求来看，大数据的架构对系统提出了新的挑战：
1、集成度更高。一个标准机箱最大限度完成特定任务。
2、配置更合理、速度更快。存储、控制器、I/O通道、内存、CPU、网络均衡设计，针对数据仓库访问最优设计，比传统类似平台高出一个数量级以上。
3、整体能耗更低。同等计算任务，能耗最低。
4、系统更加稳定可靠。能够消除各种单点故障环节，统一一个部件、器件的品质和标准。
5、管理维护费用低。数据藏的常规管理全部集成。
6、可规划和预见的系统扩容、升级路线图。
云计算与大数据的关系
简单来说：云计算是硬件资源的虚拟化，而大数据是海量数据的高效处理。虽然从这个解释来看也不是完全贴切，但是却可以帮助对这两个名字不太明白的人很快理解其区别。当然，如果解释更形象一点的话，云计算相当于我们的计算机和 *** 作系统，将大量的硬件资源虚拟化后在进行分配使用。
可以说，大数据相当于海量数据的“数据库”，通观大数据领域的发展我们也可以看出，当前的大数据发展一直在向着近似于传统数据库体验的方向发展，一句话就是，传统数据库给大数据的发展提供了足够大的空间。
大数据的总体架构包括三层：数据存储，数据处理和数据分析。数据先要通过存储层存储下来，然后根据数据需求和目标来建立相应的数据模型和数据分析指标体系对数据进行分析产生价值。
而中间的时效性又通过中间数据处理层提供的强大的并行计算和分布式计算能力来完成。三者相互配合，这让大数据产生最终价值。
不看现在云计算发展情况，未来的趋势是：云计算作为计算资源的底层，支撑着上层的大数据处理，而大数据的发展趋势是，实时交互式的查询效率和分析能力，借用Google一篇技术论文中的话：“动一下鼠标就可以在妙极 *** 作PB级别的数据”，确实让人兴奋不能止。

物联网通过大量的网络传感器来接受数据
当前收集的信息数据类型不同，物联网的数据特征与大数据不同，主要特征有：
heterogeneity, variety, unstructured feature, noise, and high redundancy
物联网数据特征：异构型、多样性、无结构化特征、噪声、高冗余。
大数据的4V特征：大量化、多样化、快速化、价值化

当今物联网数据不是的大数据最重要的组成部分，但是据惠普的预测，到2030年，传感器数量将达到1万亿，成为大数据的重要组成部分。

顾名思义，物联网就是物物相连的互联网。这有两层意思：其一，物联网的核心和基础仍然是互联网，是在互联网基础上的延伸和扩展的网络；其二，其用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通信，也就是物物相息。
物联网是指通过各种信息传感设备，实时采集任何需要监控、连接、互动的物体或过程等各种需要的信息，与互联网结合形成的一个巨大网络。其目的是实现物与物、物与人，所有的物品与网络的连接，方便识别、管理和控制。
根据国际电信联盟(ITU)的定义，物联网主要解决物品与物品(Thing to Thing,T2T)，人与物品 (Human to Thing,H2T)，人与人(Human to Human,H2H)之间的互连。
另外，物联网架构可分为三层：感知层、网络层和应用层。
感知层由各种传感器构成，包括温湿度传感器、二维码标签、RFID标签和读写器、摄像头、红外线、GPS等感知终端。感知层是物联网识别物体、采集信息的来源。
网络层由各种网络，包括互联网、广电网、网络管理系统和云计算平台等组成，是整个物联网的中枢，负责传递和处理感知层获取的信息。
应用层是物联网和用户的接口，它与行业需求结合，实现物联网的智能应用。

1、云计算
一般来讲云计算，云端即是网络资源，从云端来按需获取所需要的服务内容就是云计算。云计算是指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需的资源(硬件、平台、软件)。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。这种特性经常被称为像水电一样使用IT基础设施。广义的云计算是指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需的服务。这种服务可以是IT和软件、互联网相关的，也可以是任意其他的服务。
2、物联网
简单理解：物物相连的互联网，即物联网。物联网在国际上又称为传感网，这是继计算机、互联网与移动通信网之后的又一次信息产业浪潮。世界上的万事万物，小到手表、钥匙，大到汽车、楼房，只要嵌入一个微型感应芯片，把它变得智能化，这个物体就可以“自动开口说话”。再借助无线网络技术，人们就可以和物体“对话”，物体和物体之间也能“交流”，这就是物联网。随着信息技术的发展，物联网行业应用版图不断增长。如：智能交通、环境保护、政府工作、公共安全、平安家居、智能消防、工业监测、老人护理、个人健康、花卉栽培、水系监测、食品溯源等。大的理想就是智慧地球，目前实际生活中存在并在建设的智慧城市都是物联网炒的概念。
3、大数据
大数据(big data)，就是指种类多、流量大、容量大、价值高、处理和分析速度快的真实数据汇聚的产物。大数据或称巨量资料或海量数据资源，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。
大数据的4V特点：Volume、Velocity、Variety、Veracity。
即：数量Volume、多样性Variety、速度Velocity、和真实性Veracity。
4、大数据，云计算，物联网和移动互联网的关系
物联网对应了互联网的感觉和运动神经系统。云计算是互联网的核心硬件层和核心软件层的集合，也是互联网中枢神经系统萌芽。大数据代表了互联网的信息层（数据海洋），是互联网智慧和意识产生的基础。包括物联网，传统互联网，移动互联网在源源不断的向互联网大数据层汇聚数据和接受数据。云计算与物联网推动大数据发展。

物联网、大数据和云计算三者，在信息技术飞速发展的今天都是相辅相成、互相依存的关系。

简单来说，物联网是基于互联网技术来进行更广范围内的信息通信，解决的是具体的设备和软件之间的融合问题。

大数据和云计算都是近几年来兴起的潮流信息名词。在网络和信息技术飞速发展的今天，我们已经进入了流量时代，大数据和云计算就显得日益重要。简单的说大数据就是在一定的时间和空间范围内，运用各种系统工具及网络，将数据进行抓取和储存，是物联网和云计算的一个桥梁。而云计算，同样也是基于互联网技术，对数据进行各种计算和处理。

可见他们之间的关系是互相连接密不可分的。物联网是提供大数据的来源，通过大量设备采集初始数据，再存储到大数据中，同时提供给云计算进行算法计算，再将结果反馈给物联网；物联网为云计算提供设备和服务支持；大数据为云计算提供，数据分析和决策的依据。

如果没有了大数据和云计算的支持，物联网带来了的巨大数据也得不到足够的空间存储和处理，没有运算和反馈，这些数据将没有任何的意义。同样的，大数据和云计算需要依赖物联网所带来的巨大的数据，没有了数据的采集就构不成大数据，没有了网络的覆盖和连接，云计算也得不到实现。

所以三者互为基础，互相联系，互相促进。某种程度上看，是网络信息系统的一个处理整体。

物联网是新一代信息技术的重要组成部分，也是“信息化”时代的重要发展阶段。其英文名称是：“Internet of things（IoT）”。顾名思义，物联网就是物物相连的互联网。这有两层意思：其一，物联网的核心和基础仍然是互联网，是在互联网基础上的延伸和扩展的网络；其二，其用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通信，也就是物物相息。物联网通过智能感知、识别技术与普适计算等通信感知技术，广泛应用于网络的融合中，也因此被称为继计算机、互联网之后世界信息产业发展的第三次浪潮。物联网是互联网的应用拓展，与其说物联网是网络，不如说物联网是业务和应用。因此，应用创新是物联网发展的核心，以用户体验为核心的创新20是物联网发展的灵魂。
大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

物联网中如何使用大数据
在瞬息万变的世界中，组织很难赶上不断涌现的新概念。但人们需要区分哪些技术和概念是有用的，哪些只是一种炒作。在数据分析领域，正是大数据引发了这个时代的质疑。而如今，当这个概念日益清晰时，一个新的应用浪潮即将到来：人们需要了解在物联网中如何使用大数据。

关于什么是大数据及其可带来的价值的热烈讨论已经开始消退。然而，当专家们开始大量使用大数据和物联网的技术组合时，人们又再一次试图定义物联网与大数据连接的方式。
物联网与大数据的接触点
简而言之，物联网是连接到互联网的设备网络。这些设备具有内置的传感器，可以生成数据并对外发送，从而可以相互通信，并与分析系统进行通信。
即使对物联网设备仍然很陌生，这个概念已经在人们的生活中找到了方向。设想一个智能家庭，它可以通过调节供暖和空调系统的运行模式来调节温度，可以开启和关闭照明系统，可以发出有关漏水或气体泄漏或外人入侵的信号。最重要的是，智能家居可以在没有户主参与的情况下做到这一点。
物联网业务的一个典型例子是机器监控，使用安装在不同机器部件上的多个传感器。这些传感器将有关温度、振动、压力、润滑等读数发送给分析系统，分析系统对其进行处理并识别一些隐藏的模式和相关性。如果系统识别出读数与某种故障模式相匹配，则会向维护团队发送即时警报。
以下将回答物联网如何与大数据相交的棘手问题。当一些技术正在炒作时，物联网可能是其中之一。实际上，物联网数据是大数据的类型之一，这使得大数据技术堆栈在所有阶段处理物联网数据都是一个很好的（但不是唯一的）选项。对于数据摄取，企业可以使用Apache Kafka，因为该技术支持数据流。Apache Hadoop生态系统是数据存储和处理历史数据的理想选择，而Apache Spark则非常适合近实时数据处理。
大数据使用案例中的物联网数据规则
而人们开始了解制造商所提供的用例。同时，也可以在其他行业了解物联网数据，了解物联网大数据用例。
医疗保健：在医疗保健领域，配戴移动应用技术的可穿戴传感器设备可以实现远程健康监测。该方法的工作原理如下：传感器监测特定患者的状态（心跳、体温、血压、呼吸率等），并将这些数据实时传送到云端，然后传送到应用程序。分析系统不断搜索所有患者物联网数据中的隐藏趋势，并试图找出可能引发并发症的模式。如果物联网的大数据分析显示某些令人担忧的症状，系统会立即向患者和医生发送警报。
零售：知名零售商亚马逊公司最近推出了一个新概念 - Amazon Go。这是一家没有收银员的商店，顾客不必排队等待购物。要进入商店只用扫描他们的智能手机即可。事实上，在这里采用的是物联网和大数据分析技术：商店里遍布传感器和摄像头，顾客在商店中购物，摄像头能够区分其中的每一个人，并且跟踪他们放入购物车或返回货架的所有产品。重量传感器提供了一个额外的控制点：他们可以认识到特定的产品已经不在货架。当顾客完成购物时，他们选择的所有产品都显示在真实和虚拟的篮子中，顾客可以离开商店，系统将在稍后收费。
毫无疑问，Amazon Go是一个有远见的概念。然而，零售业表现出更多脚踏实地的想法，例如智能物流技术，可以跟踪和优化路线，并识别每位卡车司机的行为模式。零售商还使用信标激活访问者的应用程序，并在访问者进入商店并通过信标时，推出相关产品优惠和促销活动。访客会因此感到满意，因为他们收到参加促销活动提供的个性化优惠。同时，信标对商店员工也有帮助，因为它们可以识别需要高质量服务的具有价值的客户。
银行业：银行业也从物联网中受益。银行正在努力获取客户全方位的视角，并提供无缝的客户体验。虽然这一切始于智能手机的积极参与，但物联网进一步扩展至可穿戴设备。例如，美国银行与FitPay公司合作进一步推动可穿戴支付技术。通过这种合作，持卡人将能够直接从他们的智能手表和其他可穿戴设备付款。银行将能够识别客户的行为和偏好。
语结
尽管围绕物联网进行了更多的炒作，但它只是大数据源其中之一。毫无疑问，这是一个有价值的领域，而且正在不断发展。如果企业已经实施了一些大数据解决方案，也许已经处理物联网数据，如果企业正计划采用大数据方案，希望以上描述的用例可以激发一些伟大的想法。

---