Hudi release-0.10.0编译

Hudi release-0.10.0编译

前言：

环境：java8，hadoop3.13，hive3.1.2，flink1.13.5-2.11，scala2.11，系统linux（Ubuntu），maven>=3.3.1(配置的镜像源是国内的阿里云的镜像源)，git

一、下载源码

方式一：在这里选择对应的版本Releases · apache/hudi · GitHub的源码包

方式二：git clone --branch release-0.10.0 https://github.com/apache/Hudi.git

下面使用的国内的镜像源码云（gitee）上clone的，不方便访问外网的小伙伴可以选择这个。

git clone --branch release-0.10.0 https://gitee.com/apache/Hudi.git

二、根据自己的情况修改配置

maven的镜像源设置成国内的镜像源

alimavencentral,!clouderaaliyun mavenhttp://maven.aliyun.com/nexus/content/groups/public/

三、修改Hudi集成flink和Hive编译依赖版本配置

cd hudi-release-0.10.0/packaging/hudi-flink-bundle

更改pom.xml文件,拉倒底部可以看到

 
    
      flink-bundle-shade-hive1
      
        1.1.0
        0.9.2
        compile
      
    
    
      flink-bundle-shade-hive2
      
        2.3.1
        compile
      
      
        
          ${hive.groupid}
          hive-service-rpc
          ${hive.version}
          ${flink.bundle.hive.scope}
        
      
    
    
      flink-bundle-shade-hive3
      
        3.1.2
        compile
      
      
        
          ${hive.groupid}
          hive-service-rpc
          ${hive.version}
          ${flink.bundle.hive.scope}
        
      
    
  

用的根据自己的hive版本，进行修改：例如用的hive3.x.y的版本就将

      flink-bundle-shade-hive3
      
        3.1.2
        compile
      
      
        
          ${hive.groupid}
          hive-service-rpc
          ${hive.version}
          ${flink.bundle.hive.scope}
        
      
    

修改为

      flink-bundle-shade-hive3
      
        3.x.y
        compile
      
      
        
          ${hive.groupid}
          hive-service-rpc
          ${hive.version}
          ${flink.bundle.hive.scope}
        
      
    

我用的是3.1.2就不用改了。

四、编译

退回到hudi-release-0.10.0目录下，进行编译

 mvn clean install -DskipTests -DskipITs -Dcheckstyle.skip=true -Drat.skip=true -Dhadoop.version=3.1.3  -Pflink-bundle-shade-hive3

然后就等待编译完成。