云计算和大数据物联网的关系究竟是什么

云计算与大数据概述
云计算(cloud computing)是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。狭义云计算指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源;广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务。它意味着计算能力也可作为一种商品通过互联网进行流通。
大数据(big data)，或称海量数据，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据的4V特点：Volume、Velocity、Variety、Veracity。
从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式计算架构。它的特色在于对海量数据的挖掘,但它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。
大数据管理，分布式进行文件系统，如Hadoop、Mapreduce数据分割与访问执行;同时SQL支持，以Hive+HADOOP为代表的SQL界面支持，在大数据技术上用云计算构建下一代数据仓库成为热门话题。从系统需求来看，大数据的架构对系统提出了新的挑战：
1、集成度更高。一个标准机箱最大限度完成特定任务。
2、配置更合理、速度更快。存储、控制器、I/O通道、内存、CPU、网络均衡设计，针对数据仓库访问最优设计，比传统类似平台高出一个数量级以上。
3、整体能耗更低。同等计算任务，能耗最低。
4、系统更加稳定可靠。能够消除各种单点故障环节，统一一个部件、器件的品质和标准。
5、管理维护费用低。数据藏的常规管理全部集成。
6、可规划和预见的系统扩容、升级路线图。
云计算与大数据的关系
简单来说：云计算是硬件资源的虚拟化，而大数据是海量数据的高效处理。虽然从这个解释来看也不是完全贴切，但是却可以帮助对这两个名字不太明白的人很快理解其区别。当然，如果解释更形象一点的话，云计算相当于我们的计算机和 *** 作系统，将大量的硬件资源虚拟化后在进行分配使用。
可以说，大数据相当于海量数据的“数据库”，通观大数据领域的发展我们也可以看出，当前的大数据发展一直在向着近似于传统数据库体验的方向发展，一句话就是，传统数据库给大数据的发展提供了足够大的空间。
大数据的总体架构包括三层：数据存储，数据处理和数据分析。数据先要通过存储层存储下来，然后根据数据需求和目标来建立相应的数据模型和数据分析指标体系对数据进行分析产生价值。
而中间的时效性又通过中间数据处理层提供的强大的并行计算和分布式计算能力来完成。三者相互配合，这让大数据产生最终价值。
不看现在云计算发展情况，未来的趋势是：云计算作为计算资源的底层，支撑着上层的大数据处理，而大数据的发展趋势是，实时交互式的查询效率和分析能力，借用Google一篇技术论文中的话：“动一下鼠标就可以在妙极 *** 作PB级别的数据”，确实让人兴奋不能止。

--- 正文 ---

文/计算机博士，《崛起的超级智能》作者刘锋

近年来，智能制造热潮席卷神州大地，成为推进“中国制造2025”国家战略最重要的举措。其中，智能工厂（Smart Factory）作为智能制造重要的实践领域，已引起了制造企业的广泛关注和各级政府的高度重视。

任何理论研究，必须具有符合未来发展趋势的预测，才能体现其可能的价值。近15年来，我们深入研究互联网结构的变化，提出在过去50年里，互联网从网状结构进化成为大脑模型是21世纪前沿科技爆发的根源，包括物联网，云计算，大数据，边缘计算，区块链，云机器人，城市大脑，人工智能等50多个科技概念的产生和兴起都与互联网大脑的发育有关。

    2019年出版的《崛起的超级智能》绘制了一幅互联网大脑的发育与前沿科技兴起的关系图，是对过去15年来持续对互联网大脑进化的跟踪和研究总结，也是对未来的预测。

发在2008年到2012年的未来科技预言

应该说在2008年我们发表的第一篇论文《互联网进化的7条规律》本身就是一次对未来的预言（后在2012年《互联网进化论》一书中又提出了2条规律）。它们分别是：

1）连接规律 : 互联网接驳设备的进化不断延长大脑与互联网的连接时间，同时互联网使用者的心理也会对这种连接产生依赖性；连接设备从服务器到台式机到笔记本到智能手机，到智能眼镜，最后是脑机接口。

2）信用规律： 为了保证互联网虚拟世界有序和安全的运转，互联网用户在互联网虚拟空间中的身份验证将会越来越严格，互联网的信用体系将会越来越完善；

3）统一规律： 互联网将会从软件基础、硬件基础、商业应用等各个层面从分裂走向统一，互联网将会进化成一个唯一的虚拟大脑结构；

4）维度规律： 互联网信息的输入/输出形式不断丰富，它将从一维内容表现为主的初级阶段进化到三维内容表现为主的高级阶段；

5）加速规律： 互联网在进化过程中，其硬件设备和连接的人脑都会不断增加其运算速度；

6）膨胀规律： 互联网中的数据、硬件设备和连接的人脑数量在高速膨胀，其中数据增速最快，硬件设备次之，互联网使用人数增速最慢；

7）消融规律： 因为互联网的进化，虚拟世界与真实世界的边界逐步消失，人们越来越无法分辨身处虚拟环境中还是真实世界中；

8）映射规律： 互联网进化过程中现实世界的情景、规律、关系正在被映射到互联网的虚拟空间中，同时人脑的功能被逐步映射到互联网中形成以个人空间为代表的大脑映射，用这种形式实现人脑与互联网的间接联网；

9）方向规律的主要内容包括： 互联网的发展它将遵循前面八条规律从一个原始的、不完善、相对分裂的网络进化成一个统一的，与人类大脑结构高度相似的大脑模型，互联网用户将以更加紧密的方式连接到这个互联网大脑结构中。

10）Big SNS（大社交）： 除了上述9条规律，在2012年发表的《Big SNS（大社交）的诞生，物联网与社交网络的结合》，从类脑神经元发育的角度，对社交网络的未来发展进行了预测，提出社交网络作为互联网大脑的核心结构与神经元网络雏形， 其将会从人与人的链接发展成为人与人，人与物，物与物的链接， 从社交网络发展成为大社交网络。

2019年面向未来的科技预言

时间到达2019年。互联网大脑的进化依然没有完成。一方面新的科技趋势会不断出现。但另一方面已经产生的前沿科技，会在互联网大脑的架构下继续走向成熟。

11）混合智能、云反射弧与梦境世界：  从互联网大脑的发育与前沿科技兴起的关系图中可以看到人的智慧与机器智能形成的混合智能正等待爆发。因为互联网各神经系统不断成熟后与产业结合的云反射弧机制还没有萌芽。互联网大数据在VR/AR支撑下的三维化所导致的互联网梦境世界还没有真正到来。

12）云计算与中台技术： 除此之外，已经萌芽的的 中枢神经系统云计算 还在发育过程中，与AI的结合更为紧密，与企业的核心业务结合形成的 中台技术 依然是互联网中枢神经系统发育的继续。

13）5G 、光纤技术、卫星互联网： 互联网的 神经纤维技术 持续升级优化，已经完成了从1G到4G的进化，5G，6G技术还等待成熟，光纤技术，卫星互联网技术的发展不断开拓互联网神经纤维的扩征领域。让人类无时无刻，随时随地更快速的链接到互联网大脑中。

14）大社交的进化： 社交网络依然没有完成向 大社交网络 进化的任务，一个统一的，遍布全球的，可以同时链接人与人，人与物，物与物的超级智能系统还没有建立。

15）梦境世界、数字孪生与互联网大脑数字思维空间： 现实世界变成数据向互联网大脑映射的进程还在继续， 数字孪生技术 的兴起推动的这一进程，数字孪生与 互联网梦境世界（VR/AR） 技术的结合，将是互联网大脑数字思维空间建立的基础

16）云机器人，自动驾驶技术，无人机： 互联网大脑的运动神经系统仅仅刚刚发育，与互联网结合的 云机器人，自动驾驶技术，无人机技术，智能生产设备，智能办公设备，智能家庭设备 的远没有成熟，还在不断发育中，互联网大脑的运动神经系统的发育会使得互联网大脑架构对人类社会的影响越来越大，病毒，黑客，BUG等安全问题将日益突出。互联网安全将成为热点。

17）传感器与感知世界： 互联网 感觉神经系统 继续发育，更多 摄像头 ， 传感器 将安装在人类社会的各个角落，让世界更快速的映射到互联网中，也让人类更全面的感知世界。

18） 大数据与金矿： 互联网 大数据 将进一步膨胀。作为互联网大脑发育产生的金矿。对互联网大数据的利用和挖掘，将成为未来 人类最重要的创业和创新 机会所在。

19） 人工智能与马太效应： 基于互联网大数据和互联网神经系统向人类社会蔓延的深入， 人工智能 持续获得数据，算力和应用场景的支持。互联网巨头依托在互联网神经系统中的优势地位，在 人工智能领域的 马 太效应 将越来越强。

20）科技大脑的兴起： 互联网大脑架构的日益清晰，其与城市建设，企业发展，行业增长结合。更多城市大脑，企业大脑，行业大农，产业大脑应用会不断涌现。 脑与互联网，人工智能 等前沿科技终将走在一起

22）崛起的超级智能： 经济学里看不见的手动态调整人类的经济活动，同样在互联网过去50年的时间里，前沿科技也出现了一只看不见的手，推动互联网从网状进化成为大脑模型。人类智慧与机器智能通过互联网大脑架构形成自然界前所未有的 超级智能形式 。这背后的原因对智能科学，科技哲学应产生相应的重要影响和创新成果。

物联网的英文名称为"The Internet of Things” 。由该名称可见，物联网就是“物物相连的互联网”。这有两层意思：第一，物联网的核心和基础仍然是互联网，是在互联网基础之上的延伸和扩展的一种网络；第二，扩展到了任其用户端延伸和何物品与物品之间，进行信息交换和通信。因此，物联网的定义是通过射频识别(RFID)装置、红外感应器、 全球定位系统、激光扫描器等信息传感设备，按约定的协议，把任何物品与互联网相连接，进行信息交换和通信，以实现智能化识别、定位、跟踪、监控和管理的一种网络。
物联网的整个结构可分为射频识别系统和信息网络系统两部分。射频识别系统主要由标签和读写器组成，两者通过RFID空中接口通信。读写器获取产品标识后，通过internet或其他通讯方式将产品标识上传至信息网络系统的中间件，然后通过ONS解析获取产品的对象名称，继而通过EPC信息服务的各种接口获得产品信息的各种相关服务。整个信息系统的运行都会借助internet的网络系统，利用在internet基础上的发展出的通信协议和描述语言。因此我们可以说物联网是架构在internet基础上的关于各种物理产品信息服务的总和。从应用角度来看，物联网中三个层次值得关注，也即是说，物联网由三部分组成：一是传感网络，即以二维码、RFID、传感器为主，实现对“物”的识别。二是传输网络，即通过现有的互联网、广电网络、通信网络等实现数据的传输与计算。三是应用网络，即输入输出控制终端。
EPC系统是一个非常先进的、综合性的和复杂的系统。其最终目标是为每一单品建立全球的、开放的标识标准。它主要由全球产品电子代码(EPC)体系、射频识别系统及信息网络系统三大部分组成。
（1）EPC编码标准
EPC编码是EPC系统的重要组成部分，它是对实体及实体的相关信息进行代码化，通过统一并规范化的编码建立全球通用的信息交换语言。
（2）EPC标签
EPC标签是装载了产品电子代码的射频标签，通常EPC标签是安装在被识别对象上，存储被识别对象相关信息。标签存储器中的信息可由读写器进行非接触读/写。
32 EPC系统特点
（1）开放的体系结构
EPC系统采用全球最大的公用的刀又TERNET网络系统。这就避免了系统的复杂性，同时也大大降低了系统的成本，并且还有利于系统的增值。梅特卡夫(Metcalfe)定律表明，一个网络大的价值是用户本系统是应该开放的结构体系远比复杂的多重结构更有价值。
(2)独立的平台和高度的互动性
EPC系统识别的对象是一个十分广泛的实体对象，因此，不可能有那一种技术适用所有的识别对象。同时，不同地区，不同国家的射频识别技术标准也不相同。所以开放的结构体系必须具有独立的平台和高度的交互 *** 作性。EPC系统网络建立在INTERNET网络系统上可以与INTERNET网络所有可能的组成部分协同工作
(3)灵活的可持续发展的体系
EPC系统是一个灵活的开放的可持续发展的体系，可在不替换原有体系的情况下就可以做到系统升级。整体的EPC网络 *** 作依赖于RFID系统和网络应用系统的介入，使产品信息有效的传播。安装在不同需求链环境的解读器可以读取标签中储存的产品数据。因此供应链数据可以通过网络及时地检查、更新或者交换信息。
33 EPC编码编码标准
EPC码是新一代与EAN／UPC码兼容的编码标准，在EPC系统中EPC编码与现行GTIN相结合，因而EPC并不是取代现行的条码标准，而是由现行的条码标准逐渐过渡到EPC标准或者是在未来的供应链中EPC和EAN．UCC系统共存。EPC中码段的分配是由EAN．UCC来管理的。在我国，EAN．UCC系统中GTIN编码是由中国物品编码中心负责分配和管理。同样，ANCC也即将启动EPC服务来满足国内企业使用EPC的需求。
EPC码是由一个版本号加上另外三段数据(依次为域名管理者、对象分类、序列号)组成的一组数字。其中版本号标识EPC的版本号，它使得EPC随后的码段可以有不同的长度；域名管理是描述与此EPC相关的生产厂商的信息。
第四章 物联网在家庭中应用
随着时代的发展，中国已经逐步进入了老龄化社会，以后我们社会面临的现状将是一对年轻的夫妻，在照看自己小孩的同时，还要照看2～6对老人，这就为全社会出了一个难题。每家都雇保姆，显然不现实；那么，只能通过科技的手段来解决这个问题了，靠提高家庭的生活品质、方便家庭与外界的信息交互、用传感节点感知家里发生的情况等，这就为家庭物联网的实现奠定了社会基础。
物联网的概念正大行其道，也使人们看到了社会未来的发展趋势，然而物联网大部分却停留在概念阶段，真正规模应用还有待时日。家庭区域相对狭小、需求比较明确，最有可能优先实现物联网的应用。它不只是现代家庭现实的需要（照看老人、孩童），更是人们日益增强的家庭安全
41家庭物联网应用领域
寒冷的冬季，供暖系统使北方城市家庭充满温暖，而当白天大部分人离家上班的时候，空空的房间仍温暖如春。我们需要一个智能化的供暖控制系统。在生产安全领域，在食品卫生领域，在工程控制领域，在城市管理领域，在人们日常生活的各个方面，甚至在人们的娱乐活动中，都需要建立随时能与物体沟通的智能系统。通过装置在各类物体上的电子标签（RFID），传感器、二维码等经过接口与无线网络相连，从而给物体赋予智能，可以实现人与物体的沟通和对话也可以实现物体与物体相互间的沟通和对话。在电度表上装上传感器，供电部门随时都可知道用户的用电情况，实现用电检查、电能质量监测、负荷管理、线损管理、需求侧管理等高效一体化管理，一年来降低电损。在电梯装上传感器，当电梯发生故障时，无需乘客报警、电梯管理部门会借助网络在第一时间得信息，以最快的速度去现场处理故障。
42发展历程
1999年，物联网的概念就已被提出，10年间，世界各国都在加紧研究。物联网的发展共分为四个阶段：第一个阶段是大型机、主机的联网，第二个阶段是台式机、笔记本与互联网相联，第三个阶段是手机等一些移动设备的互联，第四阶段是嵌入式互联网兴起阶段，更多与人们日常生活紧密相关的应用设备，包括洗衣机、冰箱、电视、微波炉等都将加入互联互通的行列，最终形成全球统一的“物联网”。
对于互联网来说，20世纪80年代是黄金时代，这段时间出了一个知名的人物——鲍勃•卡恩（BobKahn），他被人们称为互联网之父（被赋予同样称呼的人还有好几个）。在为互联网做出卓越贡献的同时，他也非常有远见的为另一个始于上世纪80年代的项目——分布式传感网（DistributedSensorNet,简称DSN）——做了奠基。在那个年代，传感器远比我手上的这个大得多，要用一辆卡车来拉。这么大的传感器作为一个个节点组织在一起，通过微波彼此相连，就组成了传感网。
庞大的传感器在体积方面跟不上人们对其功用上的期望，于是研究者们就开始思考能不能把它做得小一点、再小一点。于是，在上世纪90年代，“智能微尘”（SmartDust）这个很有意思的概念出现了，提出者是KrisPister，他是加州大学伯克利分校的教授。这一概念认为可以将计算和通讯集成在约1~2平方毫米的超微型传感器中，用以对周围环境的参数进行探测。其核心的成分是微电机系统（Micro-Electro-MechanicalSystem,简称MEMS；这个概念在当时引起非常大的轰动），该系统中可以集成很多和机械有关的传感器。
当时KrisPister这批人有一个幻想——在蒲公英上面悬挂一个传感芯片，蒲公英飞到哪里就探测哪里的信号，再把信号传递回来。虽然只是一个假想，但当时真有科学家信心百倍地投入其中，并且还把所需的数据算出来了。比如有空气动力学专家计算出了芯片应有的重量等等。在2001年，加州大学伯克利分校的实验室真做出了这种理想中的芯片雏形，比米粒还小，可谓“细如发丝，薄如蝉翼”。他们送给了我一个，当时我还精心包装了一下。可惜最近找不到了，特别遗憾。倘若芯片里面还有电留存的话，说不定我就能通过网络定位到它的“安身之所”了。
在这一时期，有三所高校和研究机构在传感器领域处于领军地位，一是加州大学伯克利分校（以KrisPister为代表，他们提出了“智能微尘”理论），另外两个是加州大学洛杉矶分校（他们提出了“微无线技术”）和施乐帕克研究中心（XeroxPARC）。施乐帕克研究中心的团队主要由我带领，我们做的是传感信息处理和“智能物质”（SmartMatter），希望能把计算、微电机系统放到物理世界中，与“智能微尘”也有非常紧密的联系。
自本世纪初以来，对于传感的研究越来越受到人们的重视，有很多学校和大公司的研发机构开始进行了类似的研究，并有许多新兴公司借此东风异军突起。将传感器连接成“网”或“系统”，就成了传感网。除了传感网以外，类似的概念也相继提出，比如“CyberPhysicalSystem”和“InternetofThings”(简称IOT)。相较而言，IOT的概念在提出的初期更接近于日常生活，比如常见的RFID（RadioFrequencyIdentification，射频识别）技术就是它的一部分。
关于传感网和物联网的历史，若从大的传感器开始算起，传感网诞生至今应有30年了；而若从微传感网（MicroWirelessSensorNetwork）来说，应该仅有15至20年：微传感网始于上世纪90年代，那个时期的人们刚刚提出“微电机系统”的概念，试图把传感器和计算机处理和通讯全部都集成在一个芯片上，即“智慧微尘”。
其实传感器的历史，归结起来就八个字——从大到小，以点到面。这八个字看似简单，但做起来却是困难重重——要想让传感器真正“飞入寻常世界中”，它必需在体积、造价、能耗等方面进行“瘦身”，这样它才真正能够进入到物理世界。
然而，造型的缩小并不是传感进入生活的唯一条件，还需要互联网技术的配合以实现从点到面的网际联系。就IP地址而言，物联网应采用IPv6（IPv4必然不够），它有128位两进制的IP网址数，这相当于给世界上的每个沙粒都赋予了一个 IP地址。唯有当所有的物体都有一个属于自己的IP的时候，物联网才能真正实现。总而言之，物联网的实现需要这两方面的相辅相成：一是利用微处理技术（micro-fabrication），提高集成度；其二是运用IP技术，以提供足够丰富的网址。
43面临的问题
国内智能家居市场存在很多问题。1、进入门槛较高，一般一次性投入要1、2万元，这就大大限制了中等收入以下人群的购买需求。2、功能华而不实，很多都是遥控个灯光、音响，需求跟投入不成比例。3、生搬硬套，将原来很多工业上使用的东西直接照搬到家庭里，缺少人性化，不能完全适合家居生活需要。4、很多智能家居企业缺少核心技术，东拼西凑，组成个系统就推广，导致成本增高、企业竞争力下降。
RFID超高频技术在我国的应用尚处于起步阶段，一些项目的应用只是试点，还没有得到广泛应用，也没有在供链上应用。比如，只在某一个仓库里应用，或只在生产线上应用。应该说，这些试点项目全
都属于闭环状态的应用，在供应链上串起来应用的案例国内还没有出现。
物联网发展潜力无限，但物联网的实现并不仅仅是技术方面的问题，建设物联网过程将涉及到许多规划、管理、协调、合作等方面的问题，还涉及标准和安全保护等方面的问题，这就需要有一系列相应的配套政策和规范的制订和完善。
首先是技术标准问题。标准是一种交流规则，关系着物联网物品间的沟通。各国存在不同的标准，因此需要加强国家之间的合作，以寻求一个能被普遍接受的标准。
其次是安全的问题。物联网中的物品间联系更紧密，物品和人也连接起来，使得信息采集和交换设备大量使用，数据泄密也成为了越来越严重的问题。如何实现大量的数据及用户隐私的保护，成为待解决的问题。
第三，协议问题。物联网是互联网的延伸，在物联网核心层面是基于TCP/IP，但在接入层面，协议类别五花八门，CPRS、短信、传感器、TD-SCDMA、有线等多种通道，物联网需要一个统一的协议基础。
第四，终端问题。物联网终端除具有本身功能外还拥有传感器和网络接入等功能，且不同行业需求各异议，如何满足终端产品的多样化需求，对运营商来说的一大挑战。
第五，地址问题。每个物品都需要在物联网中被寻址，就需要一个地址。物联网需要更多的IP地址，IPv4资源即将耗尽，那就需要IPv6来支撑。IPv4 向IPv6过渡是一个漫长的过程，因此物联网一旦使用IPv6地址，就必然会存在与IPv4兼容性问题。
第六，费用问题。目前物联网所需的芯片等组件的费用较高，若把所有物品都植入识别芯片花费自然不少，如何有效解决这一问题仍需考虑。
第七，规模化问题。规模化是运营商业绩的重要指标，终端的价格、产品多样性、行业应用的深度和广度都会地用户规模产生影响，如何实现规模化是具有待商讨的问题。
第八，商业模式问题。物联网在商业应用方面的业务模式还不是很明朗，商业模式问题值得更进一步探讨。
第九，产业链问题。物联网所需要的自动控制、信息传感、射频识别等上游技术和产业已成熟或基本成熟，而下游的应用也单体形式存在。物联网的发展需要产业链的共同努力，实现上下游产业的联动，跨专业的联动，从而带动整个产业链，共同推动物联网发展。
要建立一个有效的物联网,有两大难点必须解决:一是规模性,只有具备了规模,才能使物品的智能发挥作用;二是流动性,物品通常都不是静止的,而是处于运动的状态,必须保持物品在运动状态,甚至高速运动状态下都能随时实现对物品的监控和追踪。
实现物联网，首先必须在所有物品中嵌入电子标签等存储体，并需安装众多读取设备和庞大的信息处理系统，这必然导致大量的资金投入。因此，在成本尚未降至能普及的前提下，物联网的发展将受到限制。已有的事实均证明，在现阶段，物联网的技术效率并没有转化为规模的经济效率，目前的所谓物联网应用也没有一个在商业上获得了较大成功。例如，智能抄表系统能将电表的读数通过商用无线系统（如GSM短消息）传递到电力系统的数据中心，但电力系统仍没有规模使用这类技术，原因在于这类技术没有经济效率。
物联网的关键在于RFID、传感器、嵌入式软件及传输数据计算等领域，包括“云计算”、无线网络的扩容和优化等均是物联网普及需解决的问题。只有通过“云计算”技术的运用，才能使数以亿计的种类物品的实时动态管理变得可能。从目前国内产业发展水平而言，传感器产业人水平较低，高端产品为国外厂商垄断。

---