spark

spark

、架构设计

1. 架构设计图

   

2. 相关术语名称解释

- RDD(Resilient Distributed DataSet)
- partiton（分区）
- 算子
- transformation类算子
- Action算子
- 窄依赖
- 宽依赖
- Application
- Driver
- Cluster Manager
- WorkerNode
- Exector
- Task
- Job(作业)
- Stage（阶段）

二、spark运行模式与用户交互方式

1. 运行模式

- 即作业以什么样的模式去执行，主要是单击、分布式两种方式的细节选择

  | **序号** | **模式名称**                   | **特点**                                                     | **应用场景**                                                 |
  | -------- | ------------------------------ | ------------------------------------------------------------ | ------------------------------------------------------------ |
  | 1        | 本地运行模式(local)            | 单台机器多线程来模拟spark分布式计算                          | 机器资源不够  测试验证程序逻辑的正确性                       |
  | 2        | 伪分布式模式                   | 单台机器多进程来模拟spark分布式计算                          | 机器资源不够  测试验证程序逻辑的正确性                       |
  | 3        | standalone(client)             | 独立布署spark计算集群  自带clustermanager  driver运行在spark submit  client端 | 机器资源充分  纯用spark计算框架  任务提交后在spark submit client端实时查看反馈信息  数据共享性弱  测试使用还可以，生产环境极少使用该种模式 |
  | 4        | standalone(cluster)            | 独立布署spark计算集群  自带clustermanager  driver运行在spark worker node端 | 机器资源充分  纯用spark计算框架  任务提交后将退出spark submit client端  数据共享性弱  测试和生产环境均可以自由使用，但更多用于生产环境 |
  | 5        | spark  on yarn  (yarn-client)  | 以yarn集群为基础  只添加spark计算框架相关包  driver运行在yarn client上 | 机器资源充分  多种计算框架混用  数据共享性强  任务提交后在yarn client端实时查看反馈信息 |
  | 6        | spark  on yarn  (yarn-cluster) | 以yarn集群为基础  只添加spark计算框架相关包  driver运行在集群的am contianer中 | 机器资源充分  多种计算框架混用  数据共享性强  任务提交后将退出yarn client端 |
  | 7        | spark  on mesos/ec2            | 与spark on yarn类似                                          | 与spark on yarn类似  在国内应用较少                          |

2. 用户交互模式

- spark-shell：spark命令方式来 *** 作spark作业
  - 多用于简单的学习、测试、简易作业 *** 作。
- spark-submit:通过程序脚本，提交相关的代码、依赖等来 *** 作spark作业。
  - 最多见的提交任务的交互方式，简单易用、参数齐全。
- spark-sql:通过sql的方式 *** 作spark作业。
  - sql相关的学习、测试、生产环境研发均可以使用该直接 *** 作交互方式。
- spark-class:最低层的调用方式，其它调用方式多是最终转化到该方式中去提交。
  - 直接使用较少
- sparkR,sparkPython:通过其它非java、非scala语言直接 *** 作spark作业的方式。
  - R、python语言使用者的交互方式。