点击上方 蓝字关注我们
编者按:2021 年,Apache DolphinScheduler 社区又迎来了新的蓬勃发展,社区活跃度持续提高。目前,项目 GitHub Star 已达 6.7k,贡献者达 270+,fork 数 2.5k+。
为了让更多活跃参与者的贡献被看到,社区特推出《社区星力量》专栏,分享他们挥洒汗水所得的开源成果,以及在参与开源过程中发生的小趣事。
投稿请发邮箱:xiyan@whaleops.com 或加微信(Leonard-ds)。
近期,我们的社区又迎来了不少贡献的小伙伴,今天故事的主人公是大数据工程师小红(化名)。
个人介绍
我在大数据领域工作已经 5 年,现在主要负责公司的数据开发平台研发工作。工作之余,我还喜欢跑步和健身。
第一次提交 PR
第一次接触 Apache DolphinScheduler 社区,我的印象是这是一个活跃度很高,气氛很友好的社区,抱着提高度调度系统认知的初衷,我想要参与到社区贡献中。
而我第一次提交 PR,是关于一个代码规范的提议。在 Apache DolphinScheduler 的 common 模块中,我发现有大量的旧代码(2019年左右)并未遵循 checkstyle 格式,有一些字符缩进、tab 字符、方法前空格等问题的存在。于是我格式化了 common 模块的历史代码,这样就可以让大家更清晰地了解代码目录。
PR 地址:https://github.com/apache/dolphinscheduler/issues/5785
虽然这个微小的改动对于业务来说并没有什么太大的意义,但开启了我和社区的“缘分”,激发了我为社区做贡献的热情。希望未来在这里,我能够结识更多志同道合的朋友,争取成为 Commiter,反哺社区。
对调度系统的期待
我所在的公司目前使用公司自研的调度系统,但是在使用过程中遇到了很多痛点问题,其实对调度系统提出了很多要求,比如:
1. 多任务场景的作业分配、调度策略;
2. 容灾能力,节点稳定性,Master 节点宕机,可以做到无缝 failover 的主备切换;
3. 作业的稳定性:
3.1 不会因为服务发布而导致作业/任务出现失败的情况;
3.2 服务恢复时,可以拉起中断的作业,能够较快的恢复到之前的状态。
4. 作业 DAG 状态一致性问题,作业状态和任务状态保持一致;
5. 监控、告警机制,作业、服务、节点宕机时,需要一个通知机制。
除了这些对于调度系统的需求之外,公司对于调度系统还有一些其他关键需求,包括:
1. 数据血缘能力;
2. plugin 的多样性,以及可插拔的能力;
3. 支持 k8s 部署;
4. UI DAG 的美观性。
经过我的调研对比分析,我认为 Apache DolphinScheduler 在这些方面其实已经做的较为完善,但不可忽视的是,因为 Apache DolphinScheduler 高度依赖ZK,大量了使用了监听器+分布式锁,对网络的稳定性要求较高,网络波动情况下容易影响任务进行。好消息是,Apache DolphinScheduler 2.0 版本改进之后将会去 ZK,弱化对 ZK 的依赖。这点是我们十分期待的。
希望在未来的社区参与中,我能够加深对 ApacheDolphinScheduler 的架构、 设计理念了解,社区也能在更多能人的加入下越来越壮大,共同努力让中国开源在世界舞台上发出更响亮的声音!
参与贡献
随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。
参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:
贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。
社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689
非新手问题列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22
如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/docs/development/contribute.html
来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。
参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手
微信(Leonard-ds) 手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。添加小助手微信时请说明想参与贡献。
来吧,开源社区非常期待您的参与。
社区官网
https://dolphinscheduler.apache.org/
代码仓地址https://github.com/apache/dolphinscheduler
您的 Star,是 Apache DolphinScheduler 为爱发电的动力❤️ ~
投稿请添加社区小助手微信
(Leonard-ds)
☞荔枝机器学习平台与大数据调度系统“双剑合璧”,打造未来数据处理新模式! ☞最佳实践|联通数科基于 DolphinScheduler 的二次开发
☞DolphinScheduler 荣获 2021 中国开源云联盟优秀开源项目奖!
☞议题征集令 | Apache DolphinScheduler Meetup 2021 来啦,议题征集正式开启! ☞重构、插件化、性能提升 20 倍,Apache DolphinScheduler 2.0 alpha 发布亮点太多! ☞巨变!a16z 关于新一代数据基础设施架构的深度洞察 ☞手把手教你 Apache DolphinScheduler 本地开发环境搭建 | 中英文视频教程 ☞Apache DolphinScheduler使用规范与使用技巧分享
点击阅读原文,加入开源!
点个在看你最好看
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)