物联网解决方案中的大数据处

作者 | 网络大数据

来源 | raincent_com

随着物联网的演变和发展，所有可以想象到的东西(或事物)和产业都将变得更加智能：智能家居和智慧城市、智能制造机械、智能汽车、智能健康等等。无数被授权收集和交换数据的东西正在形成一个全新的网络——物联网——一个可以在云中收集数据、传输数据和完成用户任务的物理对象网络。

物联网和大数据正在走向胜利之路。不过，要想从这一创新中获益，还需要解决一些挑战和问题。在本文中，我们很高兴与大家分享多年来在物联网咨询领域积累的知识。

物联网大数据如何应用

首先，有多种方法可以从物联网大数据中获益：在某些情况下，通过快速分析就足够了，而一些有价值的见解只有在经过深入的数据处理之后才能获得。

实时监测。通过连网设备收集的数据可以用于实时 *** 作：测量家中或办公室的温度、跟踪身体活动(计算步数、监测运动)等;实时监测在医疗保健中被广泛应用(例如，获取心率、测量血压、糖分等);它还成功地应用于制造业(用于控制生产设备)、农业(用于监测牛和作物)和其他行业。

数据分析。在处理物联网生成的大数据时，我们有机会超越监测，并从这些数据中获得有价值的见解：识别趋势，揭示看不见的模式并找到隐藏的信息和相关性。

流程控制和优化。来自传感器的数据提供了额外的上下文情境信息，以揭示影响性能和优化流程的重要问题。

▲交通管理：跟踪不同日期和时间的交通负荷，以制定出针对交通优化的建议，例如，在特定时间段增加公共汽车的数量，看看是否有改观，以及建议引入新的交通信号灯方案和修建新的道路，以减少街道的交通拥堵状况。

▲零售：跟踪超市货架中商品的销售情况，并在商品快卖完之前及时通知工作人员补货。

▲农业：根据传感器的数据，在必要时给作物浇水。

预测性维护。通过连网设备收集的数据可以成为预测风险、主动识别潜在危险状况的可靠来源，例如：

▲医疗保健：监测患者健康状态并识别风险(例如，哪些患者有糖尿病、心脏病发作的风险)，以便及时采取措施。

▲制造业：预测设备故障，以便在故障发生之前及时解决。

还应注意的是，并非所有的物联网解决方案都需要大数据(例如，如果智能家居拥有者要借助智能手机来关灯，则可以在没有大数据的情况下执行此 *** 作)。重要的是要考虑减少处理动态数据的工作量，并避免存储将来没有用处的大量数据。

物联网中的大数据挑战

除非处理大量数据以获取有价值的见解，否则这些数据完全没用。此外，在数据收集、处理和存储方面还有各种挑战。

▲数据可靠性。虽然大数据永远不会100%准确，但在分析数据之前，请务必确保传感器工作正常，并且用于分析的数据质量可靠，且不会因各种因素(例如，机器运行的不利环境、传感器故障)而损坏。

▲要存储哪些数据。连网设备会产生万亿字节的数据，选择存储哪些数据和删除哪些数据是一项艰巨的任务。更重要的是，一些数据的价值还远远没有显现出来，但将来您可能需要这些数据。如果您决定为将来存储数据，那么面临的挑战就是以最小的成本做到这一点。

▲分析深度。一旦并非所有大数据都很重要，就会出现另一个挑战：什么时候快速分析就足够了，什么时候需要进行更深入的分析以带来更多价值。

▲安全。毫无疑问，各个领域的连网事物可以让我们的生活变得更加美好，但与此同时，数据安全也成一个非常重要的问题。网络罪犯可以侵入数据中心和设备，连接到交通系统、发电厂、工厂，并从电信运营商那里窃取个人数据。物联网大数据对于安全专家来说还是一个相对较新的现象，相关经验的缺失会增加安全风险。

物联网解决方案中的大数据处理

在物联网系统中，物联网体系架构的数据处理组件因输入数据的特性、预期结果等而不同。我们已经制定了一些方法来处理物联网解决方案中的大数据。

数据来自与事物相连的传感器。“事物”可以是任何物体：烤箱、汽车、飞机、建筑、工业机器、康复设备等。数据可以是周期性的，也可以是流式的。后者对于实时数据处理和迅速管理事物至关重要。

事物将数据发送到网关，以进行初始数据过滤和预处理，从而减少了传输到下一个物联网系统中的数据量。

边缘分析。在进行深入数据分析之前，有必要进行数据过滤和预处理，以选择某些任务所需的最相关数据。此外，此阶段还可以确保实时分析，以快速识别之前在云中通过深度分析所发现的有用模式。

对于基本协议转换和不同数据协议之间的通信，云网关是必需的。它还支持现场网关和中央物联网服务器之间的数据压缩和安全数据传输。

连网设备生成的数据以其自然格式存储在数据湖中。原始数据通过“流”进入数据湖。数据保存在数据湖中，直到可以用于业务目的。清理过的结构化数据存储在数据仓库中。

机器学习模块根据之前积累的历史数据生成模型。这些模型定期(例如，一个月一次)用新数据流更新。输入的数据被累积并应用于训练和创建新模型。当这些模型经过专家的测试和批准后，控制应用程序就可以使用它们，以响应新的传感器数据发送命令或警报。

总结

物联网产生大量数据，可用于实时监控、分析、流程优化和预测性维护等。然而，应该记住，从各种格式的海量数据中获得有价值的见解并不是一件容易事情：您需要确保传感器工作正常，数据得到安全传输和有效处理。此外，始终存在一个问题：哪些数据值得存储和处理。

尽管存在一些挑战和问题，但应记住，物联网的发展势头强劲，并可以帮助多个行业的企业开辟新的数字机遇。

物联网时代，大量的数据从不同的设备传感器产生，单机数据库系统肯定无法存储这么大量的数据，在选择数据库方面，肯定要选择具有分布式能力存储的数据库。

在物联网时代，数据之间还有一个非常重要的特性，那就是数据之间的关联性。不同的数据从相互连接的互联网设备传感器中产生，由于不同的传感器相互连接，协同工作和采集数据，如何将大量具有相互关联的数据保存在数据库，这里我推荐使用图数据库来进行存储。

图数据库相对于其他数据库来说，最大的优势就是查询数据之间的关联性会更加快速，消耗的时间会更短。打个比方，在社交网络中，我们想要查询在用户A的粉丝中，粉丝关注了B的用户。如果使用传统关系型数据库来存储用户的关注关系，在上面的数据统计中，要使用两层Join才能算出结果，而关系型数据库Join *** 作会很慢。使用图型数据库存储数据的话，图中的点为用户，边为用户的关注关系，在查询A的粉丝，同时粉丝也关注B的用户，只需要遍历两层关注关系就能很快查询到结果。

图数据库也属于NoSql数据库的一种，常用的图形数据库有，JanusGraph、Neo4j、Cayley、dgraph。不同的图数据库，底层实现也不尽相同。

JanusGraph是一种分布式图数据库，由Java语言开发，可以使用Hadoop生态存储系统作为数据源，构建出数据大图。是TiTan图数据库的开源版本，支持事务的ACID。

Neo4j是一种单机的图数据库，其优势就是能够快速安装并且使用，便于新同学上手。你的数据量一般不大的话，我推荐使用Neo4j，直接使用Neo4j相关的API就可以将数据模型图构建而出，然后使用Neo4jCypher查询语言，就可以分析数据，Cypher是一种类SQL的语言。

Cayley和Dgraph都是使用Go语言实现的图数据库，Go语言的最大特性就是其编译速度和开发便捷性，Cayley和Dgraph都支持分布式存储，不过都不支持SQL语言查询数据，Dgraph不支持事务，而Cayley支持事务，不过在开源社区，Dgraph比Cayley更加活跃，这里优先建议使用Dgraph作为物联网的存储数据库。

总体来说，在物联网时代，一定要学会使用图数据库，在分析大量数据之间的关联性时，图数据库就能够派上用场，图数据库最大的优势就是分析不同数据之间的关联性。

物联网定义
物联网（The Internet of things）的定义是：通过射频识别（RFID）、红外感应器、全球定位系统、激光扫描器等信息传感设备，按约定的协议，把所有物品与互联网连接起来，进行信息交换和通讯，以实现智能化识别、定位、跟踪、监控和管理的一种网络。
物联网原理
物联网是在计算机互联网的基础上，利用RFID、无线数据通信等技术，构造一个覆盖世界上万事万物的“Internet of Things”。在这个网络中，物品(商品)能够彼此进行“交流”，而无需人的干预。其实质是利用射频自动识别(RFID)技术，通过计算机互联网实现物品(商品)的自动识别和信息的互联与共享。
而RFID，正是能够让物品“开口说话”的一种技术。在“物联网”的构想中，RFID标签中存储着规范而具有互用性的信息，通过无线数据通信网络把它们自动采集到中央信息系统，实现物品(商品)的识别，进而通过开放性的计算机网络实现信息交换和共享，实现对物品的“透明”管理。
“物联网”概念的问世,打破了之前的传统思维。过去的思路一直是将物理基础设施和IT基础设施分开：一方面是机场、公路、建筑物,而另一方面是数据中心，个人电脑、宽带等。而在“物联网”时代，钢筋混凝土、电缆将与芯片、宽带整合为统一的基础设施，在此意义上，基础设施更像是一块新的地球工地，世界的运转就在它上面进行，其中包括经济管理、生产运行、社会管理乃至个人生活。
物联网发展
2009年11月20日，工业和信息化部部长李毅中在全国装备工业“两化”融合典型经验座谈会上首次明确了物联网应用示范方向。他表示，传感网、物联网的发展将优先选择重点工业领域、基础设施、环保监测、公共安全、工业控制、医疗卫生等领域，开展应用示范。同时，要加强TD-SCDMA与传感网的密切结合，推进传感网与通信网融合发展。联想到当年“三金工程”对我国信息化发展的推动，示范工程的启动意味着尚处于产业初创阶段的物联网将进入发展快车道。
在工业和信息化部牵头组织的国家科技重大专项“新一代宽带无线移动通信网”中，传感网就已作为主要支持内容之一，加大了资金投入，启动了从总体战略到关键技术与设备等多项课题研究
2010年，中国政府将出台一系列物联网发展相关的产业政策，国务院、发改委、工信部、科技部等部门都有可能出台相关产业扶持政策来加速促进中国物联网产业发展。与此同时，各省市和产业园区也将会有相关的配套扶持政策出台，江苏省无锡市、北京中关村科技园等将有可能成为地方政策出台的先行者。
在技术与标准化方面，北邮、中科院、南邮、无锡中国物联网产业研究院以及中国物联网标准化组织有望在物联网标准和关键技术方面取得突破性进展，一系列重点行业应用产品将被推出市场并逐步开始规模化应用。
行业应用将成为未来几年物联网产业发展的主要驱动力。研究发现：智能交通、城市安防、智能电网等行业市场成熟度较高，这些行业传感技术成熟，政府扶持力度大，在许多城市已经开始规模化应用，市场前景广阔，投资机会巨大，将成为未来几年物联网产业发展的重点领域；医疗卫生、家庭、个人等领域的智能传感应用则需要较长的时间，技术、标准均有待于进一步完善，大多产品还处于试验阶段，短时间内不会大规模应用。

物联网架构可分为三层：感知层、网络层和应用层。
感知层由各种传感器构成，包括温湿度传感器、二维码标签、RFID标签和读写器、摄像头、红外线、GPS等感知终端。感知层是物联网识别物体、采集信息的来源。
网络层由各种网络，包括互联网、广电网、网络管理系统和云计算平台等组成，是整个物联网的中枢，负责传递和处理感知层获取的信息。
应用层是物联网和用户的接口，它与行业需求结合，实现物联网的智能应用。
其核心技术又可以细分为六层，如右图： 和传统的互联网相比，物联网有其鲜明的特征。
首先，它是各种感知技术的广泛应用。物联网上部署了海量的多种类型传感器，每个传感器都是一个信息源，不同类别的传感器所捕获的信息内容和信息格式不同。传感器获得的数据具有实时性，按一定的频率周期性的采集环境信息，不断更新数据。
其次，它是一种建立在互联网上的泛在网络。物联网技术的重要基础和核心仍旧是互联网，通过各种有线和无线网络与互联网融合，将物体的信息实时准确地传递出去。在物联网上的传感器定时采集的信息需要通过网络传输，由于其数量极其庞大，形成了海量信息，在传输过程中，为了保障数据的正确性和及时性，必须适应各种异构网络和协议。
还有，物联网不仅仅提供了传感器的连接，其本身也具有智能处理的能力，能够对物体实施智能控制。物联网将传感器和智能处理相结合，利用云计算、模式识别等各种智能技术，扩充其应用领域。从传感器获得的海量信息中分析、加工和处理出有意义的数据，以适应不同用户的不同需求，发现新的应用领域和应用模式。
此外，物联网的精神实质是提供不拘泥于任何场合，任何时间的应用场景与用户的自由互动，它依托云服务平台和互通互联的嵌入式处理软件，弱化技术色彩，强化与用户之间的良性互动，更佳的用户体验，更及时的数据采集和分析建议，更自如的工作和生活，是通往智能生活的物理支撑。 这里的“物”要满足以下条件才能够被纳入“物联网”的范围：
1、要有数据传输通路；
2、要有一定的存储功能；
3、要有CPU；
4、要有 *** 作系统；
5、要有专门的应用程序；
6、遵循物联网的通信协议；
7、在世界网络中有可被识别的唯一编号。
物联网概念这几年可谓是炙手可热，物联网家电也是风生水起，从狭义上讲，物联网家电是指应用了物联网技术的家电产品。从广义上讲，是指能够与互联网联接，通过互联网对其进行控制、管理的家电产品，并且家电产品本身与电网、使用者、处置的物品等能够实现物物相联，通过智慧的方式，达成人们追求的低碳、健康、舒适、便捷的生活方式。 物联网是在计算机互联网的基础上，利用RFID、无线数据通信等技术，构造一个覆盖世界上万事万物的“Internet of Things”。在这个网络中，物品(商品)能够彼此进行“交流”，而无需人的干预。其实质是利用射频自动识别(RFID)技术，通过计算机互联网实现物品(商品)的自动识别和信息的互联与共享。
而RFID，正是能够让物品“开口说话”的一种技术。在“物联网”的构想中，RFID标签中存储着规范而具有互用性的信息，通过无线数据通信网络把它们自动采集到中央信息系统，实现物品(商品)的识别，进而通过开放性的计算机网络实现信息交换和共享，实现对物品的“透明”管理。物联网的含义
从两化融合这个角度分析物联网的涵义：
其一：工业化的基础是自动化，自动化领域发展了近百年,理论、实践都已经非常完善了。特别是随着现代大型工业生产自动化的不断兴起和过程控制要求的日益复杂营运而生的DCS控制系统，更是计算机技术，系统控制技术、网络通讯技术和多媒体技术结合的产物。DCS的理念是分散控制，集中管理。虽然自动设备全部联网，并能在控制中心监控 信息而通过 *** 作员来集中管理。但 *** 作员的水平决定了整个系统的优化程度。有经验的 *** 作员可以使生产最优，而缺乏经验的 *** 作员只是保证了生产的安全性。是否有办法做到分散控制，集中优化管理？需要通过物联网根据所有监控信息，通过分析与优化技术，找到最优的控制方法，是物联网可以带给DCS控制系统的。
其二：IT信息发展的前期其信息服务对象主要是人，其主要解决的问题是解决信息孤岛问题。当为人服务的信息孤岛问题解决后，是要在更大范围解决信息孤岛问题。就是要将物与人的信息打通。人获取了信息之后，可以根据信息判断,做出决策，从而触发下一步 *** 作；但由于人存在个体差异，对于同样的信息，不同的人做出的决策是不同的，如何从信息中获得最优的决策？另外物获得了信息是不能做出决策的 ，如何让物在获得了信息之后具有决策能力？智能分析与优化技术是解决这个问题的一个手段，在获得信息后，依据历史经验以及理论模型，快速做出最优决策。数据的分析与优化技术在两化融合的工业化与信息化方面都有旺盛的需求。
物联网智库认为物联网的定义源于IBM的智慧地球方案，十二五规划中九大试点行业全部都是行业的智能化。无论智慧方案，还是智能行业，智能的根本离不开数据分析与优化技术。数据的分析与优化是物联网的关键技术之一，也是未来物联网发挥价值的关键点。
物联网就是各行各业的智能化。 私有物联网：一般面向单一机构内部提供服务； 公有物联网：基于互联网向公众或大型用户群体提供服务； 社区物联网：向一个关联的“社区”或机构群体（如一个城市政府下属的各委办局：如公安局、交通局、环保局、城管局等）提供服务； 混合物联网：是上述的两种或以上的物联网的组合，但后台有统一运维实体； 医学物联网：是将物联网技术应用于医疗、健康管理、老年健康照护等领域； 建筑物联网：是将物联网技术应用于路灯照明管控、景观照明管控、楼宇照明管控、广场照明管控等领域。

可以应用在云计算方面。

大数据具体的应用：

1、洛杉矶警察局和加利福尼亚大学合作利用大数据预测犯罪的发生。

2、google流感趋势(Google Flu Trends)利用搜索关键词预测禽流感的散布。

3、统计学家内特西尔弗(Nate Silver)利用大数据预测2012美国选举结果。

4、麻省理工学院利用手机定位数据和交通数据建立城市规划。

5、梅西百货的实时定价机制。根据需求和库存的情况，该公司基于SAS的系统对多达7300万种货品进行实时调价。

6、医疗行业早就遇到了海量数据和非结构化数据的挑战，而近年来很多国家都在积极推进医疗信息化发展，这使得很多医疗机构有资金来做大数据分析。

7、及时解析故障、问题和缺陷的根源，每年可能为企业节省数十亿美元。

8、为成千上万的快递车辆规划实时交通路线，躲避拥堵。

9、分析所有SKU，以利润最大化为目标来定价和清理库存。

10、根据客户的购买习惯，为其推送他可能感兴趣的优惠信息。

扩展资料：

大数据的用处：

1、与云计算的深度结合。大数据离不开云处理，云处理为大数据提供了d性可拓展的基础设备，是产生大数据的平台之一。

自2013年开始，大数据技术已开始和云计算技术紧密结合，预计未来两者关系将更为密切。除此之外，物联网、移动互联网等新兴计算形态，也将一齐助力大数据革命，让大数据营销发挥出更大的影响力。

2、科学理论的突破。随着大数据的快速发展，就像计算机和互联网一样，大数据很有可能是新一轮的技术革命。可能会改变数据世界里的很多算法和基础理论，实现科学技术上的突破。

参考资料：

百度百科--大数据

1、物联网（The Internet of Things，简称IOT）是指通过 各种信息传感器、射频识别技术、全球定位系统、红外感应器、激光扫描器等各种装置与技术，实时采集任何需要监控、 连接、互动的物体或过程，采集其声、光、热、电、力学、化 学、生物、位置等各种需要的信息。

2、组成：物联网的基本特征可概括为整体感知、可靠传输和智能处理 。

（1）整体感知—可以利用射频识别、二维码、智能传感器等感知设备感知获取物体的各类信息。

（2）可靠传输—通过对互联网、无线网络的融合，将物体的信息实时、准确地传送，以便信息交流、分享。

（3）智能处理—使用各种智能技术，对感知和传送到的数据、信息进行分析处理，实现监测与控制的智能化。

扩展资料：

常见的运用案例有：

1、物联网传感器产品已率先在上海浦东国际机场防入侵系统中得到应用。机场防入侵系统铺设了3万多个传感节点，覆盖了地面、栅栏和低空探测，可以防止人员的翻越、偷渡、恐怖袭击等攻击性入侵。而就在不久之前，上海世博会也与无锡传感网中心签下订单，购买防入侵微纳传感网1500万元产品。

2、ZigBee路灯控制系统点亮济南园博园。ZigBee无线路灯照明节能环保技术的应用是此次园博园中的一大亮点。园区所有的功能性照明都采用了ZigBee无线技术达成的无线路灯控制。

3、智能交通系统(ITS)是利用现代信息技术为核心，利用先进的通讯、计算机、自动控制、传感器技术，实现对交通的实时控制与指挥管理。交通信息采集被认为是ITS的关键子系统，是发展ITS的基础，成为交通智能化的前提。无论是交通控制还是交通违章管理系统，都涉及交通动态信息的采集，交通动态信息采集也就成为交通智能化的首要任务。

参考资料来源：百度百科-物联网

---