大数据和物联网将如何影响数据中心

大数据和物联网将如何影响数据中心
如今，大数据正在不断拓展和扩大。据科学日报2013年的报道，全世界范围内所有数据的90％都是在过去两年中产生的。凡尔纳环球公司技术服务总监豪尔赫巴尔塞尔斯指出，全球各地有25亿个互联网用户，在美国就有大约25亿个用户，特别是在过去的十年，用户的数量和水平呈现爆炸式增长。
从我们的Fitbits到手机摄像头，所有连接到互联网的各种类型的设备数量庞大，这些设备所产生的数据和未来的潜力导致计算和存储的需求呈指数增加。大数据和物联网将如何影响数据中心？这是巴尔塞尔斯在将要召开的数据中心全球会议和博览会上演讲的主题。本次会议将包括许多专题会议，将会涉及数据中心的管理者和经营者面对的问题，以及数据中心的新技术。大量的计算和存储需求产生更多的电力需求巴尔塞尔斯说，他说其演讲主题重点是围绕数据中心的管理者和经营者所问的问题。比如“我们现在的电力基础设施能否处理所有产生的数据呢？我们能提供足够的电力吗？”。这还将引出了下一个问题：“你知道你的数据中心现在获得的电力，那么在5年或10年或15年以后呢，那时该如何应对？“为了支持计算和存储今天的需求，“我们的数据中心需要质量可靠、高效节能的，采用可再生能源的充足电力。”他说。不断增长的数据需求导致更大的电力需求和成本。凡尔纳全球公司位于冰岛凯夫拉维克的数据中心，已经建立了围绕可再生能源接入，可靠和具有成本效益的电源策略。探讨电力因素对数据中心影响，巴尔塞尔斯对此具有独特的视角。
电力的底线巴尔塞尔斯表示，从财务的角度来看电力是很重要的。当数据中心管理者展望未来计划的成本，在如何计算电力定价时，却不知道未来会发生什么。电力成本在今天的数据中心设施的位置产生巨大的影响。当客户着眼于市场的发展趋势时，其共同点就是“电力的价格”。巴尔塞尔斯说。需求改变位置“你看目前人们不在大都市地区建设新的数据中心。在过去的十年中，数据中心都尽量远离人口中心，向偏远地区地区发展。比如美国西北太平洋地区的华盛顿州、俄勒冈、甚至美国犹他州，”他说。“而全球数据中心位于北欧地区，包括冰岛。”他举例说，Facebook在瑞典建设和数据中心，其电网是超级可靠的。而谷歌公司在芬兰建设的数据中心，从2015年开始，其电力来自可再生能源。（根据此前DCK的报道：谷歌公司在芬兰的哈米纳数据中心将在2015年主要采用风能发风，谷歌公司与一个陆上风电场供电公司签署了补充协议，因此该数据中心将采用100％的可再生能源发电。）这种供电可靠性在美国当前却不可用。“例如，海湾地区的电力并不是持续的。其可靠性不高。”巴尔塞尔斯说。北方气候的另一个好处是较低的散热需求。“在数据中心的总体成本中，冷却成本占到发电成本的30％到40％。”他说，“数据中心正在寻找那些终年有凉爽的气候的地点。”这减少了降低服务器的进气温度所需要产生的冷空气（无论是通过传统的冷却方式，或通过蒸发冷却）。实用的可靠性我们日前依赖的全天候的电力基础设施并不是都那么可靠。巴尔塞尔斯说人们往往很快忘记供电可靠性的问题。他引用了桑迪飓风和2003年美国东北电网导致大面积停电的事例。“2003年的事故导致5000万人受灾。我们这么快就忘记了，”他说。“电力的可靠性是一个让人关注的问题，不只是在美国，在全世界也是如此。”

云计算与大数据概述
云计算(cloud computing)是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。狭义云计算指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源;广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务。它意味着计算能力也可作为一种商品通过互联网进行流通。
大数据(big data)，或称海量数据，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据的4V特点：Volume、Velocity、Variety、Veracity。
从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式计算架构。它的特色在于对海量数据的挖掘,但它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。
大数据管理，分布式进行文件系统，如Hadoop、Mapreduce数据分割与访问执行;同时SQL支持，以Hive+HADOOP为代表的SQL界面支持，在大数据技术上用云计算构建下一代数据仓库成为热门话题。从系统需求来看，大数据的架构对系统提出了新的挑战：
1、集成度更高。一个标准机箱最大限度完成特定任务。
2、配置更合理、速度更快。存储、控制器、I/O通道、内存、CPU、网络均衡设计，针对数据仓库访问最优设计，比传统类似平台高出一个数量级以上。
3、整体能耗更低。同等计算任务，能耗最低。
4、系统更加稳定可靠。能够消除各种单点故障环节，统一一个部件、器件的品质和标准。
5、管理维护费用低。数据藏的常规管理全部集成。
6、可规划和预见的系统扩容、升级路线图。
云计算与大数据的关系
简单来说：云计算是硬件资源的虚拟化，而大数据是海量数据的高效处理。虽然从这个解释来看也不是完全贴切，但是却可以帮助对这两个名字不太明白的人很快理解其区别。当然，如果解释更形象一点的话，云计算相当于我们的计算机和 *** 作系统，将大量的硬件资源虚拟化后在进行分配使用。
可以说，大数据相当于海量数据的“数据库”，通观大数据领域的发展我们也可以看出，当前的大数据发展一直在向着近似于传统数据库体验的方向发展，一句话就是，传统数据库给大数据的发展提供了足够大的空间。
大数据的总体架构包括三层：数据存储，数据处理和数据分析。数据先要通过存储层存储下来，然后根据数据需求和目标来建立相应的数据模型和数据分析指标体系对数据进行分析产生价值。
而中间的时效性又通过中间数据处理层提供的强大的并行计算和分布式计算能力来完成。三者相互配合，这让大数据产生最终价值。
不看现在云计算发展情况，未来的趋势是：云计算作为计算资源的底层，支撑着上层的大数据处理，而大数据的发展趋势是，实时交互式的查询效率和分析能力，借用Google一篇技术论文中的话：“动一下鼠标就可以在妙极 *** 作PB级别的数据”，确实让人兴奋不能止。

1高效分布式

必须是高效的分布式系统。物联网产生的数据量巨大，仅中国而言，就有5亿多台智能电表，每台电表每隔15分钟采集一次数据，一天全国智能电表就会产生500多亿条记录。这么大的数据量，任何一台服务器都无能力处理，因此处理系统必须是分布式的，水平扩展的。为降低成本，一个节点的处理性能必须是高效的，需要支持数据的快速写入和快速查询。

2实时处理

必须是实时处理的系统。互联网大数据处理，大家所熟悉的场景是用户画像、推荐系统、舆情分析等等，这些场景并不需要什么实时性，批处理即可。但是对于物联网场景，需要基于采集的数据做实时预警、决策，延时要控制在秒级以内。如果计算没有实时性，物联网的商业价值就大打折扣。

3高可靠性

需要运营商级别的高可靠服务。物联网系统对接的往往是生产、经营系统，如果数据处理系统宕机，直接导致停产，产生经济有损失、导致对终端消费者的服务无法正常提供。比如智能电表，如果系统出问题，直接导致的是千家万户无法正常用电。因此物联网大数据系统必须是高可靠的，必须支持数据实时备份，必须支持异地容灾，必须支持软件、硬件在线升级，必须支持在线IDC机房迁移，否则服务一定有被中断的可能。

4高效缓存

需要高效的缓存功能。绝大部分场景，都需要能快速获取设备当前状态或其他信息，用以报警、大屏展示或其他。系统需要提供一高效机制，让用户可以获取全部、或符合过滤条件的部分设备的最新状态。

5实时流式计算

需要实时流式计算。各种实时预警或预测已经不是简单的基于某一个阈值进行，而是需要通过将一个或多个设备产生的数据流进行实时聚合计算，不只是基于一个时间点、而是基于一个时间窗口进行计算。不仅如此，计算的需求也相当复杂，因场景而异，应容许用户自定义函数进行计算。

6数据订阅

需要支持数据订阅。与通用大数据平台比较一致，同一组数据往往有很多应用都需要，因此系统应该提供订阅功能，只要有新的数据更新，就应该实时提醒应用。而且这个订阅也应该是个性化的，容许应用设置过滤条件，比如只订阅某个物理量五分钟的平均值。

正确的是：必须适应强电磁干扰环境，采用自适应跳频、确定性通信资源调度，无线路由，采用低开销高精度时间同步，网络分层数据加密，异常监视与报警以及设备入网鉴权。

就国内目前的主要市场环境来看，其主要用的是wifi mesh（例如strix的mesh设备）和cofdm mesh（例如winet无线智能宽带网络），前者利用的是wifi技术速率可达几百兆，频率主要用24G和58G，使用全向天线距离大概3-5公里。

物联网

是新一代信息技术的重要组成部分，IT行业又叫：泛互联，意指物物相连，万物万联。由此，“物联网就是物物相连的互联网”。这有两层意思：第一，物联网的核心和基础仍然是互联网，是在互联网基础上的延伸和扩展的网络；第二，其用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通信。

随着社会迅速发展，人类逐渐进入大数据的时代，而物联网与云计算作为近年来的热点，受到了业内不少人士的关注。据业界人士分析，大数据的前景与物联网以及云计算这两者之间的关系非常密切，那么，真像业界人士所说的那样它们之间存在着不一样的关系呢？下面，我们就来了解一下大数据与物联网、云计算之间的关系吧。
大数据概念
巨量资料(big data)，或称大数据、海量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。“大数据”是由数量巨大、结构复杂、类型众多数据构成的数据集合，是基于云计算的数据处理与应用模式，通过数据的整合共享，交叉复用,形成的智力资源和知识服务能力。
大数据市场格局
具体意义上来讲，早在20世纪90年代“数据仓库之父”的Bill Inmon便提出了“大数据”的概念。大数据之所以在最近走红，主要归结于互联网、移动设备、物联网和云计算等快速崛起，全球数据量大大提升。可以说，移动互联网、物联网以及云计算等热点崛起在很大程度上是大数据产生的原因。
我们通过分析，形象的知道大数据与移动互联网、物联网以及传统互联网的关系。物联网，移动互联网再加上传统互联网，每天都在产生海量数据，而大数据又通过云计算的形式，将这些数据筛选处理分析，提前出有用的信息，这就是大数据分析。
大数据与云计算
云计算（cloud computing）是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。近几年，云计算的概念受到了学术界、商界，甚至政府的热捧，一时间云计算无处不在，这真让同时代其他的IT技术相形见绌，无地自容。
本质上，云计算与大数据的关系是静与动的关系；云计算强调的是计算，这是动的概念；而数据则是计算的对象，是静的概念。如果结合实际的应用，前者强调的是计算能力，或者看重的存储能力；但是这样说，并不意味着两个概念就如此泾渭分明。大数据需要处理大数据的能力（数据获取、清洁、转换、统计等能力），其实就是强大的计算能力；另一方面，云计算的动也是相对而言，比如基础设施即服务中的存储设备提供的主要是数据存储能力，所以可谓是动中有静。
如果数据是财富，那么大数据就是宝藏，而云计算就是挖掘和利用宝藏的利器！没有强大的计算能力，数据宝藏终究是镜中花；没有大数据的积淀，云计算也只能是杀鸡用的宰牛刀。
大数据与物联网
物联网是一个基于互联网、传统电信网等信息承载体，让所有能够被独立寻址的普通物理对象实现互联互通的网络。
大数据与物联网之间的关系是相铺相成的。物联网产生大数据。美国人前几年医院一年产生500个数据，IMT1。4TB数据等各种的数据通过传感器产生，也有在网上直接产生的，我们现在处于大数据时代，物联网一分钟可以产生非常多的东西，苹果下载2万余次，一分钟会上传10万条新微博，全世界物联网上虚拟网络上，产生了大量的数据。
物联网产生的大数据与一般的大数据有不同的特点。物联网的数据是异构的、多样性的、非结构和有噪声的，更大的不同是它的高增长率。物联网的数据有明显的颗粒性，其数据通常带有时间、位置、环境和行为等信息。物联网数据可以说也是社交数据，但不是人与人的交往信息，而是物与物，物与人的社会合作信息。
除此之外，大数据助力物联网，不仅仅是收集传感性的数据，实物跟虚拟物要结合起来。今天北京交通堵塞，但是并不知道堵塞原因，如果政府发布消息和市民微博发布消息结合起来就知道发生什么事，物联网要过滤，过滤要有一定模式。

---