Flink1,一篇文章把InnoDB的事务机制给你弄的明明白白

Flink1,一篇文章把InnoDB的事务机制给你弄的明明白白,第1张

Flink1,一篇文章把InnoDB的事务机制给你弄的明明白白 全文概览

今天的实战由以下内容组成:

  1. 开发一个最简单的flink任务,在IDEA上以local模式运行

  2. 下载flink1.9.2源码

  3. 修改flink1.9.2源码,并且编译构建

  4. 设置,让步骤1中的flink任务用上刚刚编译的flink1.9.2框架;

  5. 再次运行flin

《一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义》

【docs.qq.com/doc/DSmxTbFJ1cmN1R2dB】 完整内容开源分享

k任务,验证修改后的flink框架是否生效;

IDEA上运行flink job工程
  1. 在IDEA上创建flink job的maven工程并运行,请参考《IDEA上运行Flink任务》

  2. 假设您已按上面的步骤在IDEA建好了flink job工程;

  3. 运行起来,在浏览器打开flink页面,如下图,绿框中显示一共有8个Task Slot:

  1. 之所以会有8个Task Slot,和下图红框中的代码有关,这是段flink框架源码(StreamExecutionEnvironment.java),入参parallelism是CPU核数,我这里是开了超线程的四核i5处理器,所以parallelism等于8:

  1. 今天的目标就是修改上图红框中的源码,然后在网页上看是不是生效了(Task Slot数量从8改成5);
准备工作
  1. maven中央仓库地址建议用阿里云的,否则会经常遇到jar下载超时错误,地址:http://192.168.50.43:8081/repository/aliyun-proxy/

  2. flink1.9.2源码的maven工程依赖了一个中央仓库没有的jar,GAV是io.confluent:kafka-schema-registry-client:3.3.1,您需要下载下来在本地仓库做mvn install *** 作,下载地址:http://packages.confluent.io/maven/io/confluent/kafka-schema-registry-client/3.3.1/kafka-schema-registry-client-3.3.1.jar

  3. 上述准备工作都需要您在本地maven上 *** 作,但是如果您的条件允许,还是强烈推荐在内网搭建maven私服nexus3,参考:《群晖DS218+做maven私服(nexus3)》、《Ubuntu部署和体验Nexus3》、《Nexus3常用功能备忘》

下载flink1.9.2源码

flink1.9.2源码的下载地址:http://ftp.jaist.ac.jp/pub/apache/flink/flink-1.9.2/flink-1.9.2-src.tgz

修改和编译构建
  1. 将下载好的flink-1.9.2-src.tgz解压,得到文件夹flink-1.9.2

  2. 打开这个文件:flink-1.9.2/flink-streaming-java/src/main/java/org/apache/flink/streaming/api/environment/StreamExecutionEnvironment.java

  3. 如下图红框,找到createLocalEnvironment方法,把setParallelism的入参改成一个固定的数字(每个Task Slot都要分配内存,所以这个数字请不要改得太大,否则启动flink就会报错了,我这里改成了5):

  1. 在文件夹flink-1.9.2下,执行编译构建的命令:mvn clean install -DskipTests -Dfast

  2. 经历漫长等待后提示构建成功:

  1. 确认这个文件已生成,稍后就要用到:flink-1.9.2/flink-dist/target/flink-dist_2.11-1.9.2.jar
设置
  1. 为了用上刚刚构建出来的flink框架jar,要做些设置,打开之前运行的flink job应用,在项目上点击右键,点击菜单Open Module Settings,如下图:

  1. 接下来要做三个和jar有关的 *** 作,注意每一步都很重要:

  2. 下图红框1中的flink-dist_2.11-1.9.2.jar文件,是《IDEA上运行Flink任务》一文中添加的,目的是提供网页服务,现在将其删除, *** 作如下图红框所示:

  1. 下图红框1中的maven依赖:org.apache.flink:flink-streaming-java_2.11:1.9.2,也请删除, *** 作如下图红框所示:

  1. 点击下图红框中的加号:

  1. 在d出的窗口选中刚才构建好的文件flink-1.9.2/flink-dist/target/flink-dist_2.11-1.9.2.jar:

  1. 记得点击右下角的OK按钮保存,修改完毕,接下来验证咱们修改的flink框架源码是否生效了
验证

欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/zaji/5678976.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-17
下一篇 2022-12-17

发表评论

登录后才能评论

评论列表(0条)

保存