MapReduce是Google公司的Jeff Dean等人提出的编程模型,用于大规模数据的处理和生成。从概念上讲,MapReduce处理一组输入的key/value对(键值对),产生另一组输出的键值对。当前的软件实现是指定一个Map(映射)函数,用来把一组键值对映射成一组新的键值对,指定并发的Reduce(化简)函数,用来保证所有桐喊桥映射的键值对中的每一个共享相同的键组。程序员只需要根据业务逻辑设计Map和Reduce函数,具体的分布式、高并发机制由MapReduce编程系统实现。
相信大家对MapReduce相关机制已经比较熟悉,这里不做更深入的阐述。
MapReduce在Google得到了广泛应用,包括反向索引构建、分布式排序、Web访问日志分析、机器学习、基于统计的机器翻译、文档聚类等。
Hadoop——作为MapReduce的开源实现——得到了Yahoo!、Facebook、IBM等大量公司的支持和应用。
2)Dryad
Dryad是Microsoft设计并实现的允许程序员使用集群或数据中心计算资源的数据并行处理编程系统。从概念上讲,一个应用程序表示成一个有向无环图(Directed Acyclic Graph,DAG)。顶点表示计算,应用开发人员针对顶点编写串行程序,顶点之间的边表示数据通道,用来传输数据,可采用文件、TCP管道和共享内存的FIFO等数据传输机制。Dryad类似Unix中的管道。如果把Unix中的渗睁管道看成一维,即数据流动是单向的,每一步计算都是单输入单输出,整个数据流是一个线性结构,那么Dryad可以看成是二维的分布式管道,一个计算顶点可以有多个输入数据流,处理完数据后,可以产生多个输出数据流,一个Dryad作业是一个DAG。
3)Pregel
Pregel是Google提出的一个面向大规模图计算的通用编程模型。许多实际应用中都涉及到大型的图算法,典型的如网页链接关系、社交关系、地理位置图、科研论文中的引用关系等,有的图规模可达数十亿局猛的顶点和上万亿的边。Pregel编程模型就是为了对这种大规模图进行高效计算而设计。
第一步,注册Pispower云平台账号;第二步,在Pispower云平台上创建应用,设置相应的应用属性参数;
第三步,将应用文件包上传、提交到Pispower云平台;
第四步,纯纳进行简单调试后 *** 作运行该应用,即部署做前没成功。悔则
有兴趣可以去Pispower试试,部署过程真的很容易。
云计算需要学习代码云计算(cloud computing)是分布式计算的一种,指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序,然后,通过多部服务器组成的系统进行处理和分缓派析这些小程序得到结果并返回给用户。云计算早期,简单地说,就是简单的分布式计算,解决任务分发,并进行计算结果的合并。因而,云计算又称为网格计算。通过这项技术,可以在很短的时间内(几秒种)完成对数以万计的数据的处理槐哪耐,从而达到强大的网络服务。现阶段所说的云服铅春务已经不单单是一种分布式计算,而是分布式计算、效用计算、负载均衡、并行计算、网络存储、热备份冗杂和虚拟化等计算机技术混合演进并跃升的结果。欢迎分享,转载请注明来源:内存溢出
评论列表(0条)