大数据与云计算,物联网的相互关系

大数据、云计算和物联网的区别。大数据侧重于对海量数据的存储、处理与分析，从海量数据中发现价值，服务于生产和生活；云计算本质上旨在整合和优化各种IT资源并通过网络以服务的方式，廉价地提供给用户；物联网的发展目标是实现物物相连，应用创新是物联网发展的核心。

大数据、云计算和物联网的联系。从整体上看，大数据、云计算和物联网这三者是相辅相成的。大数据根植于云计算，大数据分析的很多技术都来自于云计算，云计算的分布式数据存储和管理系统提供了海量数据的存储和管理能力，分布式并行处理框架MapReduce提供了海量数据分析能力，没有这些云计算技术作为支撑，大数据分析就无从谈起。

物联网、大数据及人工智能都是近年来互联网行业比较火热的话题，三者之间具有非常紧密的联系。想探讨物联网、大数据及人工智能之间如何融合，首先需要了解其基本概念。

概念

1、物联网

根据百度百科的解释，物联网（InternetofThings，IoT）是一个基于互联网、传统电信网等的信息承载体，它让所有能够被独立寻址的普通物理对象形成互联互通的网络（万物互联）。物联网网络架构设计由感知层、网络层及应用层组成，分别实现数据采集、数据传输及数据应用的功能。目前，物联网已经广泛应用于智慧医疗、智慧环保、智慧城市、智能家居及物流等领域。

2、大数据

大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据具有体量大（Volume）、及时性（Velocity）、多样性（Variety）、低价值密度（Value）及真实性（Veracity）的“5V”特性。

3、人工智能

人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。目前，人工智能正在改变各行各业的传统模式，作为人工智能分支的机器学习/深度学习已经广泛用于自然语言处理（NLP）、计算机视觉（CV）、机器翻译及推荐系统等领域。

深度融合

物联网、大数据、人工智能三者之间相辅相成，可以形成一个闭环通路。物联网作为智能感知层，主要负责采集现场的数据并将数据上传至分布式数据库中；大数据作为数据存储层，将经过ETL处理后的数据保存到分布式文件系统（HDFS）或数据仓库（HIVE）中；人工智能作为应用层，可利用sparkml或tensorflow实现相关的机器学习或深度学习算法，对存储在HDFS或HIVE中的数据进行数据挖掘。

应用案例

目前，物联网、大数据、人工智能已经广泛用于智慧城市、智慧环保、智慧交通等领域。以智慧环保中的空气预警为例，首先，物联网可以作为智慧感知层，安装在客户现场的空气监测设备采集的空气质量信息通过网络传输数据中心；而后，利用大数据ETL工具（spark、hive）进行数据清洗并存储至分布式数据库/文件系统/数据仓库中；最后，利用人工智能相关技术进行大数据分析（sparkml、tensorflow），预测未来若干天的空气质量，并以此辅助进行科学决策及改善环境。

随着IT行业的不断发展，大数据会是未来重要的发展趋势，整个IT行业将以大数据为基础来构建新的应用生态，当前大数据技术被广泛应用于互联网、政府机构、金融行业等，此外大数据是支撑物联网发展的核心技术之一，也会与云计算、人工智能等前沿创新技术进行深度融合。

大数据未来的发展趋势有以下几个方面：

1大数据推动物联网的发展。

物联网就是把所有物品通过信息传感设备与互联网连接起来，进行信息交换，即物物相息，以实现智能化识别和管理。物联网产生大数据，大数据助力物联网。目前，物联网正在支撑起社会活动和人们生活方式的变革，被称为继计算机、互联网之后冲击现代社会的第三次信息化发展浪潮。物联网握手大数据，正在逐步显示出巨大的商业价值。

2大数据推动科技领域的发展。

大数据的发展正在推动科技领域的发展进程，大数据的影响现在不局限于互联网领域，在金融、教育、医疗等诸多领域也有了不同程度的影响。在人工智能研发领域，大数据也起到了重要的作用，尤其在机器学习、计算机视觉和自然语言处理等方面，人工智能是能够充分利用大数据的一个领域，大数据为人工智能带来了更多的创新。

大数据会改变很多行业，而对于企业来说，需要提高核心竞争力，而企业的信息化建设是其中的重中之重，但这个建设过程并不是一步到位的，需要统筹规划分步实施，大数据平台的构建属于企业整体信息化建设中的很重要一环，在构建时，需要先整体后局部，有一个清晰明确的整体架构，这样才能保证业务流程间的相互运转、信息化系统间的合理支撑，再逐步深入推进。

物联网是智慧城市的基础，但智慧城市的范围比物联网更广。智慧城市的衡量指标由大数据体现，大数据推动智慧城市的发展；物联网是大数据产生的催化剂，大数据源于物联网的应用。物联网是指通过信息传感器、射频识别技术、全球定位系统、红外传感器、激光扫描仪等各种设备和技术，实时采集任何需要监控、连接和交互的物体或过程。收集声、光、热、电、力学、化学、生物、位置等各种需要的信息。通过各种可能的网络接入，实现物与人的无处不在的连接，实现对事物和过程的智能感知、识别和管理。物联网是基于互联网和传统电信网络的信息载体，它使所有可以独立寻址的普通物理对象形成一个互联网络。大数据技术是从各类超大规模数据中提取价值的低成本、快速收集、处理和分析技术的新一代技术和架构。大数据技术的不断出现和发展，让我们处理海量数据变得更容易、更便宜、更快捷，成为使用数据的好助手，甚至改变了很多行业的商业模式。大数据是这样一个数据集:数据量增长非常快，用常规的数据工具无法在一定时间内完成收集、处理、存储和计算。云计算是基于互联网的超级计算模式。在远程数据中心，数以千计的计算机和服务器连接成一个计算机云。所以云计算甚至可以让你体验到每秒10万亿次的计算能力。如此强大的计算能力，可以模拟核爆炸，预测气候变化和市场发展趋势。用户通过电脑、笔记本、手机等访问数据中心。，并根据自己的需要进行计算。云计算的就业前景在某种意义上也可以理解为云计算提供的服务，这是必然的，也就是说云计算对社会和云计算用户有什么优势，也可以理解为云计算的优势就是云计算的就业优势。

随着全球信息化的浪潮，信息化产业不断发展、延伸，已经深入了众多的企业及个人，SOA系统架构的出现，将给信息化带来一场新的革命。

纵观信息化建设与应用的历程，尽管出现过XML（标准通用标记语言的子集）、Unicode、UML等众多信息标准，但是许多异构系统之间的数据源仍然使用各自独立的数据格式、元数据以及元模型，这是信息产品提供商一直以来形成的习惯。各个相对独立的源数据集成一起，往往通过构建一定的数据获取与计算程序来实现，这样的做法需要花费大量工作。信息孤岛大量存在的事实，使信息化建设的ROI（投资回报率）大大降低，ETL成为集中这些异构数据的有效工具。ETL常用于从源系统中提取数据，将数据转换为与目标系统相兼容的格式，然后将其装载到目标系统中。数据经过获取、转换、装载后，要产生应用价值，还需另外的数据展现工具予以实现，如此复杂的数据应用过程，必定产生高昂的应用成本。

结构化的数据管理尚可通过以上方法，予以实现其集成应用。在非结构化的内容方面，这些具有挑战性的问题令人生畏。内容管理的应用方案基于不同的信息化应用系统，而且大部分是纵向的以组织部门为界限的。在内容管理市场中，经常使用来自不同厂商的产品来提供这些解决方案。即使是同一个厂商的产品，相互之间的功能也是经常重叠，并且无法集成。

随着信息化建设的深入，不同应用系统之间的功能界限已趋于模糊。同时企业资源计划系统和协同商务系统，又需要商业智能的分析展现数据提供用户 *** 作依据。

在激烈竞争且多变的市场环境下，企业的管理模式很难固化，应用传统的信息化软件，当企业要做出一些改动时需要面对巨大的挑战。

SOA系统架构的出现，信息化变革

微软大中华区服务部总经理辛儿伦介绍说，从上世纪60年代应用于主机的大型主机系统，到80年代应用于PC的CS架构，一直到90年度互联网的出现，系统越来越朝小型化和分布式发展。2000年WebService出现后，SOA被誉为下一代Web服务的基础框架，已经成为计算机信息领域的一个新的发展方向。

SOA的出现给传统的信息化产业带来新的概念，不再是各自独立的架构形式，能够轻松的互相联系组合共享信息。

可复用以往的信息化软件。基于SOA的协同软件提供了应用集成功能，能够将ERP、CRM、HR等异构系统的数据集成。

松散耦合方式，只要充分了解业务的进程，就可以不用编写一行代码，通过流程图实现一套我们自己的信息系统。就像已经给你准备好了砖瓦和水泥，只需要想好盖什么样的房子就可以轻松的盖起。加快开发速度，并且减少了开发和维护的费用。软件将所有的管理提炼成表单和流程，以记录管理的内容，指定过程的流转方向。

更简便的信息和数据集成。信息集成功能可以将散落在广域网和局域网上的文档、目录、网页轻松集成，加强了信息的协同相关性。同时，复杂、成本高昂的数据集成，也变成了可以简单且低成本实现的参数设定。创建了完全集成的信息化应用新领域。

在具体的功能实现上，SOA协同软件所实现的功能包括了知识管理、流程管理、人事管理、客户管理、项目管理、应用集成等，从部门角度看涉及了行政、后勤、营销、物流、生产等。从应用思想上看，SOA协同软件中的信息管理功能，全面兼顾了贯穿整个企业组织的信息化软硬件投入。尽管各种IT技术可以用于不同的用途，但是信息管理并没有任意地将信息分为结构化或者非结构化的部分，因此ERP等结构化管理系统并不是信息化建设的全部；同时，信息管理也没有将信息化解决方案划分为部门的视图，因此仅仅以部分为界限去构建软件应用功能的思想未必是不可撼动的。基于SOA的协同软件与ERP、CRM等传统应用软件相比，关键的不同在于它可以在合适的时间、合适的地点并且有正当理由向需要它提供服务的任何用户提供服务。

物联网中如何使用大数据
在瞬息万变的世界中，组织很难赶上不断涌现的新概念。但人们需要区分哪些技术和概念是有用的，哪些只是一种炒作。在数据分析领域，正是大数据引发了这个时代的质疑。而如今，当这个概念日益清晰时，一个新的应用浪潮即将到来：人们需要了解在物联网中如何使用大数据。

关于什么是大数据及其可带来的价值的热烈讨论已经开始消退。然而，当专家们开始大量使用大数据和物联网的技术组合时，人们又再一次试图定义物联网与大数据连接的方式。
物联网与大数据的接触点
简而言之，物联网是连接到互联网的设备网络。这些设备具有内置的传感器，可以生成数据并对外发送，从而可以相互通信，并与分析系统进行通信。
即使对物联网设备仍然很陌生，这个概念已经在人们的生活中找到了方向。设想一个智能家庭，它可以通过调节供暖和空调系统的运行模式来调节温度，可以开启和关闭照明系统，可以发出有关漏水或气体泄漏或外人入侵的信号。最重要的是，智能家居可以在没有户主参与的情况下做到这一点。
物联网业务的一个典型例子是机器监控，使用安装在不同机器部件上的多个传感器。这些传感器将有关温度、振动、压力、润滑等读数发送给分析系统，分析系统对其进行处理并识别一些隐藏的模式和相关性。如果系统识别出读数与某种故障模式相匹配，则会向维护团队发送即时警报。
以下将回答物联网如何与大数据相交的棘手问题。当一些技术正在炒作时，物联网可能是其中之一。实际上，物联网数据是大数据的类型之一，这使得大数据技术堆栈在所有阶段处理物联网数据都是一个很好的（但不是唯一的）选项。对于数据摄取，企业可以使用Apache Kafka，因为该技术支持数据流。Apache Hadoop生态系统是数据存储和处理历史数据的理想选择，而Apache Spark则非常适合近实时数据处理。
大数据使用案例中的物联网数据规则
而人们开始了解制造商所提供的用例。同时，也可以在其他行业了解物联网数据，了解物联网大数据用例。
医疗保健：在医疗保健领域，配戴移动应用技术的可穿戴传感器设备可以实现远程健康监测。该方法的工作原理如下：传感器监测特定患者的状态（心跳、体温、血压、呼吸率等），并将这些数据实时传送到云端，然后传送到应用程序。分析系统不断搜索所有患者物联网数据中的隐藏趋势，并试图找出可能引发并发症的模式。如果物联网的大数据分析显示某些令人担忧的症状，系统会立即向患者和医生发送警报。
零售：知名零售商亚马逊公司最近推出了一个新概念 - Amazon Go。这是一家没有收银员的商店，顾客不必排队等待购物。要进入商店只用扫描他们的智能手机即可。事实上，在这里采用的是物联网和大数据分析技术：商店里遍布传感器和摄像头，顾客在商店中购物，摄像头能够区分其中的每一个人，并且跟踪他们放入购物车或返回货架的所有产品。重量传感器提供了一个额外的控制点：他们可以认识到特定的产品已经不在货架。当顾客完成购物时，他们选择的所有产品都显示在真实和虚拟的篮子中，顾客可以离开商店，系统将在稍后收费。
毫无疑问，Amazon Go是一个有远见的概念。然而，零售业表现出更多脚踏实地的想法，例如智能物流技术，可以跟踪和优化路线，并识别每位卡车司机的行为模式。零售商还使用信标激活访问者的应用程序，并在访问者进入商店并通过信标时，推出相关产品优惠和促销活动。访客会因此感到满意，因为他们收到参加促销活动提供的个性化优惠。同时，信标对商店员工也有帮助，因为它们可以识别需要高质量服务的具有价值的客户。
银行业：银行业也从物联网中受益。银行正在努力获取客户全方位的视角，并提供无缝的客户体验。虽然这一切始于智能手机的积极参与，但物联网进一步扩展至可穿戴设备。例如，美国银行与FitPay公司合作进一步推动可穿戴支付技术。通过这种合作，持卡人将能够直接从他们的智能手表和其他可穿戴设备付款。银行将能够识别客户的行为和偏好。
语结
尽管围绕物联网进行了更多的炒作，但它只是大数据源其中之一。毫无疑问，这是一个有价值的领域，而且正在不断发展。如果企业已经实施了一些大数据解决方案，也许已经处理物联网数据，如果企业正计划采用大数据方案，希望以上描述的用例可以激发一些伟大的想法。

---