flink sql-client.sh 提交到yarn

flink sql-client.sh 提交到yarn

下载flink安装包解压

cd 到安装目录执行一下命令启动集群

 

./bin/start-cluster.sh

之后执行启动sql-client命令：

./bin/sql-client.sh embedded

默认情况下，这个sql-client上面所跑的任务，会提交到flink的standalone集群上，如果你没有bin/start-cluster.sh启动standalon集群，那么sql-client进程可以启动起来，但是在实际执行sql的时候，会连接拒绝的错误。

如果想要把任务提交给yarn，则需要启动一个yarn-session任务

yarn-session模式其实就是在yarn上生成一个standalone集群

./bin/yarn-session.sh -s 4  -nm cool -d

然后flink-sql客户端连接这个集群提交SQL任务

./bin/sql-client.sh embedded -s yarn-session

因为yarn-session模式默认会在/tmp/目录下维护一个会话信息，此时启动客户端指定yarn-session他会自动寻找到当前的session会话然后提交任务