大数据和物联网是什么?听院士给你讲课

大数据和物联网是什么听院士给你讲课
大数据、物联网这些热词到底怎么理解？这些技术如何应用到实践？7月23日至28日，由人社部主办、江苏省人社厅承办、江苏省工程师学会协办的“2018年物联网和大数据技术在农业、环保及工业领域的应用”国家级高级研修班在南京举行。尹浩和徐宗本两大中科院院士现场讲课，为大家答疑解惑。

“什么是大数据？大家看这样一张图。”讲课现场，徐宗本让大家看了一幅图，画面中一开始是很多复杂混乱的碎片，当经过成倍数据的叠加，最后形成一张大象的图像。“当数据达到量变和质变的临界点时，大家可以解读数据背后的故事，这就是大数据。”徐宗本表示，现在大数据已经不仅仅局限于一个定义，有人讲大数据时代，有人说大数据技术，还有人谈大数据文化。“这都体现了大数据拥有大价值。”
徐宗本举例，大数据提供了社会科学的方法论。“比如，通过获取分析数据，可以对社会政策进行进行分析，对社会走向进行预测，这就给文科、管科提供了公共的方法论。”更别说，大数据形成了高新科技的新领域，成为社会进步的新引擎。徐宗本表示，这都是大数据数据积累、关联聚合、数据分析出来的价值。
嗅到大数据的商机，目前全国各地也都在建立数据中心。对此，徐宗本表示，数据中心虽然多了，但是产业链条并不完整。“很多中心只是收集和存储信息，但是缺乏分析、挖掘和应用能力。”他打了一个形象的比喻，这就好比“只买米不做饭”。“大数据的分析和应用才能变现和创作价值，这是我们下一步需要好好利用的。”
如果说大数据是数据收集和分析，物联网则是将物品和互联网连接起来，进行信息交换和通信。简单说，就是人、机、物的联接。尹浩院士表示，“十三五”时期是我国物联网加速进入“跨界融合、集成创新和规模化发展”的新阶段。“万物控制”是业界面临的下一个挑战。
目前物联网已经与交通、节能环保、农业、智慧健康医护、家居、工业等各个领域进行了嫁接。“比如说，智慧交通。物联网可以通过各种基础传感设施，进行出行、消费、人口分布、交际等情况分析，然后基于公共交通网络的城市车载感知网络系统，进行智能化交通管制。设定管理路段、自动调整交通信号灯、车辆诱导通行等。”
不过，尹浩表示，物联网发展面临的瓶颈和深层次问题也很多。物联网安全管控、国际竞争压力、应用需求本地化都是下一步要迎接的挑战。

物联网，云计算，大数据是近两年科技、产业界的热门话题。分别什么意思？之间又有什么关系呢？很多人也非常感兴趣，经过学习了解，查阅资料，一点浅显认识和总结与朋友们分享。
物联网
简单理解：物物相连的互联网，即物联网。物联网在国际上又称为传感网，这是继计算机、互联网与移动通信网之后的又一次信息产业浪潮。世界上的万事万物，小到手表、钥匙，大到汽车、楼房，只要嵌入一个微型感应芯片，把它变得智能化，这个物体就可以“自动开口说话”。再借助无线网络技术，人们就可以和物体“对话”，物体和物体之间也能“交流”，这就是物联网。随着信息技术的发展，物联网行业应用版图不断增长。
现在的物联网产业以应用层、支撑层、感知层、平台层以及传输层这五个层次构成。
云计算
云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池（资源包括网络、服务器、存储、应用软件、服务），这些资源能够快速提供，只需投入很少的管理工作，或与服务商进行很少的交互。
经典应用案例：苹果icloud
苹果icloud不仅是一个云端硬盘，它可让你轻松访问你所有苹果设备上的一切内容，并自动同步所有设备中的文件、、音乐、日程表、邮件、联系人目录，更贴心的是，在你修改文件后还能自动将修改同步到所有苹果设备并对旧文件备份。你可以选择免费的5G存储空间，也可以每年花费2499美元购买iTunes Match服务，这样一来，你可以通过任何苹果设备收听存放在苹果云服务器中的音乐。
大数据
大数据相当于人的大脑从小学到大学记忆和存储的海量知识，这些知识只有通过消化，吸收、再造才能创造出更大的价值。
麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。
物联网和云计算的关系
云计算相当于人的大脑，是物联网的神经中枢。云计算是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。
大数据与云计算的关系
大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。
大数据、云计算和物联网的关系
物联网对应了互联网的感觉和运动神经系统。云计算是互联网的核心硬件层和核心软件层的集合，也是互联网中枢神经系统萌芽。大数据代表了互联网的信息层(数据海洋)，是互联网智慧和意识产生的基础。包括物联网，传统互联网，移动互联网在源源不断的向互联网大数据层汇聚数据和接受数据。云计算与物联网则推动了大数据的发展。

物联网是物物相连的互联网，核心基础仍然是互联网，是在互联网基础上的延伸和扩展的网络;大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理(MPP)数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
大数据包括结构化、半结构化和非结构化数据，非结构化数据越来越成为数据的主要部分。据 IDC 的调查报告显示：企业中 80%的数据都是非结构化数据，这些数据每年都按指数增长 60%。
大数据就是互联网发展到现今阶段的一种表象或特征而已，没有必要神话它或对它保持敬畏之心，在以云计算为代表的技术创新大幕的衬托下，这些原本看起来很难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。

云计算与大数据概述
云计算(cloud computing)是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。狭义云计算指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源;广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务。它意味着计算能力也可作为一种商品通过互联网进行流通。
大数据(big data)，或称海量数据，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据的4V特点：Volume、Velocity、Variety、Veracity。
从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式计算架构。它的特色在于对海量数据的挖掘,但它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。
大数据管理，分布式进行文件系统，如Hadoop、Mapreduce数据分割与访问执行;同时SQL支持，以Hive+HADOOP为代表的SQL界面支持，在大数据技术上用云计算构建下一代数据仓库成为热门话题。从系统需求来看，大数据的架构对系统提出了新的挑战：
1、集成度更高。一个标准机箱最大限度完成特定任务。
2、配置更合理、速度更快。存储、控制器、I/O通道、内存、CPU、网络均衡设计，针对数据仓库访问最优设计，比传统类似平台高出一个数量级以上。
3、整体能耗更低。同等计算任务，能耗最低。
4、系统更加稳定可靠。能够消除各种单点故障环节，统一一个部件、器件的品质和标准。
5、管理维护费用低。数据藏的常规管理全部集成。
6、可规划和预见的系统扩容、升级路线图。
云计算与大数据的关系
简单来说：云计算是硬件资源的虚拟化，而大数据是海量数据的高效处理。虽然从这个解释来看也不是完全贴切，但是却可以帮助对这两个名字不太明白的人很快理解其区别。当然，如果解释更形象一点的话，云计算相当于我们的计算机和 *** 作系统，将大量的硬件资源虚拟化后在进行分配使用。
可以说，大数据相当于海量数据的“数据库”，通观大数据领域的发展我们也可以看出，当前的大数据发展一直在向着近似于传统数据库体验的方向发展，一句话就是，传统数据库给大数据的发展提供了足够大的空间。
大数据的总体架构包括三层：数据存储，数据处理和数据分析。数据先要通过存储层存储下来，然后根据数据需求和目标来建立相应的数据模型和数据分析指标体系对数据进行分析产生价值。
而中间的时效性又通过中间数据处理层提供的强大的并行计算和分布式计算能力来完成。三者相互配合，这让大数据产生最终价值。
不看现在云计算发展情况，未来的趋势是：云计算作为计算资源的底层，支撑着上层的大数据处理，而大数据的发展趋势是，实时交互式的查询效率和分析能力，借用Google一篇技术论文中的话：“动一下鼠标就可以在妙极 *** 作PB级别的数据”，确实让人兴奋不能止。

---