《数据密集型计算和模型》第六七章Dryad及其他计算模型

《数据密集型计算和模型》第六七章Dryad及其他计算模型

《数据密集型计算和模型》第六、七章的有关内容。主要有Dryad简介、SCOPE脚本语言、DryadLINQ、Cosmos等。

一、Dryad模型

Dryad是Michael Isard等人为处理海量数据而提出的一种分布式执行引擎。

• Dryad专注一简化编程模型以及改善应用程序的可用性、有效性和扩展性。
• Dryad系统主要用来构建能够用有向无环图描述的并行程序

Dryad架构主要包含以下几个部分：

1. 任务管理器
2. 集群
3. 命名服务器
4. 守护进程

二、SCOPE脚本语言

• SCOPE是运行在Dryad平台上的一种声明式的、可扩展的脚本语言。
• SCOPE是一种针对大规模数据分析的脚本语言。

三、DryadLINQ

• DryadLINQ是一个把LINQ程序转化为分布式计算指令，以便运行于Dryad的编译器。
• 也可以说是一种分布式编程语言。

特点

1. 声明式编程
2. 自动并行化
3. 集成Visual Studio
4. 集成.NET
5. 类型安全
6. 自动序列化
7. 作业图的优化
8. 简洁

四、Cosmos

Cosmos作为Dryad平台下分布式文件系统，用于存储和分析大量数据集。

对于cosmos来说，高层次的设计目标包括以下方面

1. 高可用性
2. 高可靠性
3. 高可扩展性
4. 性能
5. 开销

Cosmos平台主要包括以下组件：

• Cosmos存储层
• Cosmos执行环境
• SCOPE

五、其他计算模型 1. All-Pairs

• All-Pairs就是针对科学计算领域一类问题的一个编程抽象

2. DOT

• DOT是Yin Huai 、Rubao Lee 等人提出的一个软件开发模型，旨在为应用程序和底层软件架构之间架起桥梁，用于指导大数据分析软件的开发。

3. Pig Latin

• Pig是基于MapReduce计算框架的海量数据分析平台，Pig Latin是为其提供类似SQL的查询语言。

4. GraphLab

• GraphLab图计算模型
• 高效地支持许多数据挖掘或机器学习算法

5. CloudWF（工作流）

• CloudWF是基于Hadoop的一个轻量级的、可扩展的计算工作流计算模型。