flink集群搭建

flink集群搭建 1.1 基础环境

• jdk1.8及以上【配置JAVA_HOME环境变量】

• ssh免密码登录【集群内节点之间免密登录】（教程：https://blog.csdn.net/qq_19520877/article/details/119490098）

1.2 安装包下载

https://archive.apache.org/dist/flink/flink-1.7.2/flink-1.7.2-bin-hadoop27-scala_2.11.tgz

1.3 集群规划

linux9527
JobManager+TaskManager
linux9528
TaskManager
linux9529
TaskManager

1.4 StandAlone模式部署

在linux9527节点 *** 作

Step1、Flink安装包上传到linux9527对应目录并解压
Step2、修改 flink/conf/flink-conf.yaml 文件

jobmanager.rpc.address: linux9527
taskmanager.numberOfTaskSlots: 2

step2.1 修改/conf/masters

linux9527:8081

Step3、修改 /conf/slave文件

linux9527
linux9528
linux9529

step3.1 scp解压且配置好的文件到其他节点

scp -r flink-1.7.2/ linux9528:$PWD
scp -r flink-1.7.2/ linux9529:$PWD

step3.2 配置环境变量 /etc/profile

export Flink_HOME=/opt/yyjzy/servers/flink-1.7.2
export PATH=$PATH:$Flink_HOME/bin

保存退出后

source /etc/profile

其他节点也要这么配置

Step4、standalone模式启动

bin目录下执行./start-cluster.sh

Step5、jps进程查看核实

3857 TaskManagerRunner
3411 StandaloneSessionClusterEntrypoint
3914 Jps

Step6、查看Flink的web页面 ip:8081/#/overview

Step7、集群模式下运行example测试

./flink run ../examples/streaming/WordCount.jar

注意：集群搭建完毕后，Flink程序就可以打成Jar，在集群环境下类似于Step7中一样提交执行计算任务

打jar包插件：

        
            
            
                org.apache.maven.plugins
                maven-shade-plugin
                2.4.3
                
                    
                        package
                        
                            shade
                        
                        
                            
                                
                                    *:*
                                    
                                        meta-INF/*.SF
                                        meta-INF/*.DSA
                                        meta-INF/*.RSA
                                    
                                
                            
                        
                    
                
            

        
    

1.5 yarn模式部署

(1)启动一个YARN session(Start a long-running Flink cluster on YARN)；

配置文件 yarn-site.xml
注意：yarn-site的修改需要在集群的每一台机器上执行

    yarn.nodemanager.pmem-check-enabled
    false


    yarn.nodemanager.vmem-check-enabled
    false

  
    yarn.resourcemanager.address
    linux9529:8032
  
  
    yarn.resourcemanager.scheduler.address
    linux9529:8030
  
  
    yarn.resourcemanager.resource-tracker.address
    linux9529:8031
  

启动hadoop （hdfs，yarn)

• hadoop启动完后，通过yarn启动flink集群

 /opt/yyjzy/servers/flink-1.7.2/bin/yarn-session.sh -n 2 -tm 800 -s 1 -d

# -n 表示申请2个容器，这里指的就是多少个taskmanager

# -s 表示每个TaskManager的slots数量

# -tm 表示每个TaskManager的内存大小

# -d 表示以后台程序方式运行

• 启动后运行flink任务

./flink run -c com.yyjzy.stream.WordCount  /tmp/flink-web-b73a5b1e-2d0f-4380-a22e-1ce51f93c29e/flink-web-upload/flink_demo-1.0-SNAPSHOT.jar 

-c 是全限定类名

• yarn-session会一直启动，不停地接收客户端提交的作业
• 停止yarn集群任务

yarn application -kill application_1527077715040_0003

(2)直接在YARN上提交运行Flink作业(Run a Flink job on YARN)

bin/flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 -c com.yyjzy.stream.WordCount  /tmp/flink-web-b73a5b1e-2d0f-4380-a22e-1ce51f93c29e/flink-web-upload/flink_demo-1.0-SNAPSHOT.jar 

# -m jobmanager的地址

# -yn 表示TaskManager的个数