Spark提交任务，两个集群kerberos互信

spark向集群1中的yarn提交任务，任务运行在集群1的yarn容器中。数据写入集群2的hdfs。集群1与集群2开通kerberos互信 *** 作。

关于大数据方面技术问题可以咨询，替你解决你的苦恼。 参考： https://www.jianshu.com/p/d148af2bda64

[if !supportLists]2.1.1 [endif] YARN  Clu

图2-4 YARN Cluster 模式

在YARN  Cluster  模式下，任务提交后会和ResourceManager  通讯申请启动

ApplicationMaster，随后ResourceManager  分配container，在合适的NodeManager

上启动ApplicationMaster，此时的ApplicationMaster 跟Driver在一个NodeManager上，但当有多个App任务时，Driver会分布在多个NodeManager上面，因为Driver要与client通信，Driver在同一个NodeManager上会对网络的要求很高。

Driver 启动后向ResourceManager 申请Executor 内存，ResourceManager 接到

ApplicationMaster 的资源申请后会分配container，然后在合适的NodeManager 上启动Executor 进程，Executor 进程启动后会向Driver 反向注册，Executor 全部注册完成后Driver 开始执行main 函数，之后执行到Action 算子时，触发一个job，并根据宽依赖开始划分stage，每个stage  生成对应的taskSet，之后将task  分发到各个

Executor 上执行。

首先需要确定spark提交任务的方式，是通过命令行还是通过web接口。如果是通过命令行提交的任务，可以通过命令行查看应用程序的ID，然后再通过web接口来查看应用程序的状态。如果是通过web接口提交的任务，可以在web界面中查看应用程序的状态。如果在web界面中找不到应用程序，可能是由于配置不正确、网络故障或其他原因导致的。可以检查配置文件、查看日志文件等方式来排除故障。另外，还需要注意spark集群的版本和配置，以确保应用程序能够正确地运行和提交。

---