第六章 实时数仓专题之flink on yarn 安装（flink 1.13.1安装包见文末）

第六章 实时数仓专题之flink on yarn 安装（flink 1.13.1安装包见文末） 1、上传解压

tar -zxvf flink-1.13.1-bin-scala_2.12.tgz -C /opt/module

2、配置环境变量

• vim /etc/profile.d/my_env.sh

#flink集成hadoop

export HADOOP_OPTS="-Djava.library.path=$PATH:$HADOOP_HOME/lib/native"
export HADOOP_CLASSPATH="hadoop classpath"

3、配置文件

• 修改conf/flink-conf.yaml

jobmanager.rpc.address: hadoop102

• 修改conf/master

hadoop102:8081

• 修改conf/worker

hadoop102
hadoop103
hadoop104

• 分发文件

xsync /flink

4、开启关闭

./start-cluster.sh

./stop-cluster.sh

5、JOB运行 5.1、命令行提交JOB

./flink run -m yarn-cluster /opt/module/flink-1.13.1/examples/batch/WordCount.jar --input /opt/module/flink-1.13.1/data/source.txt --output /opt/module/flink-1.13.1/data/result.txt

• 相关参数说明·

（1）-yjm：jobmanager内存

（2）ytm：taskmanager内存

（3）yn：tm的数量

（4）ys：每个tm的任务槽

（5）yqu：yarn的资源队列名称

（6）ynm：yarn application name

• 运行结果
  

5.2、WEB端运行JOB

（1）提交界面

entry class:入口类
program Arguments:入口参数
parallelism:并行度,作业提交job时,如果代码没有配,以全局并行度为准,没有以此并性都为准,没有,以全局并行度为准
savapoint path:保存点,从之前存盘的地方启动

（2）运行结果