StreamX 1.2.3 正式发布, 唯快不破,支持 Flink 1.15 诸多更新来袭

StreamX 1.2.3 正式发布, 唯快不破,支持 Flink 1.15 诸多更新来袭,第1张

亲爱的社区小伙伴们,我们很高兴地宣布,StreamX 今天迎来了 1.2.3 Release 版本的正式发布!本次增加了诸多新特性,修复了一些 bug ,对 StreamX 的易用性、稳定性等方面进行了加强,欢迎大家下载使用! 

1. 重要更新

在 1.2.3 版本中,StreamX 支持了 最新的 Apache Flink 1.15.0 ,在使用上还是一如既往的简洁丝滑。同时支持了 Scala 2.11 / 2.12 从此可以自由的选择 Scala、重新划分了 Datastream Connector 模块、使得项目结构更清晰合理,增加了 ES 5 / 6 / 7 的 Datastream Connector ,开放了RESTApi 能力, 使得 StreamX 可以很方便的和其他系统集成。并且修复了一些 bug 。具体明细如下:

  • 新增对 Scala 2.12 的支持 

  • 新增对 Flink 1.15 的支持 

  • 新增 RestApi 与外部系统的集成能力

  • 新增 ES 5 / 6 / 7 Datastream connector

  • 新增 Flink Cluster 集群管理 ( yarn | k8s )

  • 新增 Flink SQL Pulsar connector

  • 新增 Flink SQL Http connector
     

2. 修复增强 
  • 修复 hadoop 3 环境下 kerberos 认证续期相关的 bug

  • 修复项目编译可能存在的不能输出日志的 bug

  • 修复 tm managed memory参数设置不能为0的 bug

  • 修复 jobId 为 0**0 导致任务恢复时不能正确识别 savepoint 的 bug

  • 修复项目修改后未出现编译按钮, 不能重新编译项目的bug

  • 增强在添加 Flink Home 时对 scala 版本的验证

  • 重构 Datastream connector模块,模块和包名重新划分

  • 连接器的示例程序迁移至 streamx-quickstart

3. 已有能力 

系统管理
    [√] 用户管理, 新增,修改,删除,多租户支持
    [√] 角色管理, 新增,修改,删除
    [√] 菜单管理, 新增,修改,删除, 权限管理(到按钮级别的权限控制)
    [√] REST Token 管理

项目管理
    [√] 项目创建,删除(目前只支持git)
    [√] 项目编译,实时查看编译日志
    [√] 项目列表过滤查询,分页

作业管理
    [√] 作业创建,删除,编辑,更新,保存,常规参数配置
    [√] 作业启动,停止,重启,删除,火焰图(非flink内置)
    [√] 停止时自动savePoint,启动时从savePoint恢复
    [√] 作业列表的查看,过滤,分页。
    [√] 可视化 Flink SQL 编辑器,格式化,语法校验,保存
    [√] flinkSQL 任务多版本的支持
    [√] yarn-per-job 部署模式
    [√] yarn-application 部署模式
    [√] yarn-session部署模式
    [√] k8s-native-application 部署模式
    [√] k8s-native-session 部署模式
    [√] standalone 部署模式
    [√] 任务历史版本备份和回滚
    [√] 任务启动失败的日志在线查看
    [√] 任务依赖管理,支持标准maven pom坐标的依赖和手动上传jar
    [√] 任务实时状态显示(实际任务保持一致)
    [√] 任务监控,失败告警,发送邮件通知,自动重启
    [√] 本地上传jar任务的支持
    [√] *** 作接口开放(REST请求可以控制任务启动|停止|savePoint等) 
    [√] 告警,重启策略, 针对checkpoint连续失败的处理(邮件告警|重启)
    [√] 支持所有 Flink sql connector
    [√] 支持所有 Flink UDF


兼容性
    [√] Hadoop 2 / 3 的支持
    [√] kerberos的认证支持
    [√] 多版本flink的支持(flink 1.12.x,1.13.x, 1.14.x, 1.15.0)
    [√] Scala 2.11 / 2.12 的支持
 

4. 感谢贡献者 

StreamX 的发展离不开社区的 Contributor 们的付出的积极努力, 本次又涌现一批积极的开发者, Flink 1.15 、 RestApi、 Datastream connector重构、 Flink Cluster 管理 等几个核心特性都是社区的开发者独立贡献的, 特别感谢 @lvshaokang @lzyyy @wangqingrong @xxyykkxx 在上述核心特性中所作的努力, 真诚感谢本次所有参与开发测试讨论的小伙伴, 以下为 Contributor 名单, 排名不分先后:

ChunFu、Gilliam、benjobs、chengyuan、huzk、lvshaokang、lzyyy、sober、wangqingrong、wangrui、xxyykkxx、阿洋

5. 加入我们

StreamX 遵循 Apache-2.0 开源协议,将会是个长期更新的活跃项目,自项目开源以来就受到很多同行的关注和认可,目前已经登记生产使用的用户有: 尚硅谷, INMOBI, JOYME , 联通数科... 更有百度这样的一线大厂。StreamX 开源刚满一年,目前全网累计 2k star,贡献者共计36位,总代码量已经突破11万行。StreamX 于 2021 年 11 月荣获开源中国「最有价值开源项目」。随后荣获「2021 年度 OSC 中国开源项目评选」的「最受欢迎项目」,并且陆续有多家IT教育机构出相关课程, 感谢大家支持, 我们会继续努力,  坚信未来会更好。
 

 [贡献者墙]

[StreamX 用户墙] 

流批一体,流式数仓,数据湖是大数据领域的趋势,StreamX 虽离这个目标还有一段距离,但我们始终坚信: 道阻且长,行则将至,行而不辍,未来可期。我们会积极进取,做好相关功能持续迭代优化,和社区所有小伙伴一起努力进一步建设好社区,让 StreamX 成为一个功能完善,体验更佳,用户更多的产品,再获得更多认可。真诚欢迎热爱开源的伙伴加入到社区中来,为做一个优秀实用的好项目献上一份自己的力量。
 

欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/langs/876850.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-05-13
下一篇 2022-05-13

发表评论

登录后才能评论

评论列表(0条)

保存