flink实战--flinkSQL数据写入hudi

flink实战--flinkSQL数据写入hudi,第1张

flink实战--flinkSQL数据写入hudi 简介

          Apache Hudi 是目前最流行的数据湖解决方案之一,Data Lake Analytics 集成了 Hudi 服务高效的数据 MERGE(UPDATE/DELETE)场景,Apache Flink 作为目前最流行的流计算框架,在流式计算场景有天然的优势,当前,Flink 社区也在积极拥抱 Hudi 社区,发挥自身 streaming 写/读的优势,同时也对 batch 的读写做了支持。

环境准备

         Hudi 有一个为 Flink 准备的 bundle jar,它应该在启动时加载到 Flink SQL Client 中。我们可以在路径下手动构建 jar hudi-source-dir/packaging/hudi-flink-bundle,或从Apache 官方存储库下载它,然后放入到flink的lib目录下 。

注意事项:

  • 我们建议使用 hadoop 2.9.x+ 版本,因为某些对象存储只有在此之后才有文件系统实现
  • fli

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/5688723.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-17
下一篇 2022-12-17

发表评论

登录后才能评论

评论列表(0条)

保存