Apache Kyubbi ：成功申报中国科协开源评选

Apache Kyubbi ：成功申报中国科协开源评选

恭喜Apache Kyuubi ：成功申报中国科协开源评选

中国科协首届2021“科创中国”开源创新榜评选正在进行中，全程免费参与，对于申报成功的开源产品/社区/机构，主承办方会组织各种形式的宣传报道。

• Apache Kyuubi(Incubating) ：Serverless Spark 和数据湖开源探索平台
• Apache Kyuubi(Incubating) ：成功申报中国科协开源评选

开源项目介绍

Apache Kyuubi(Incubating) （下文简称Kyuubi）是⼀个构建在Spark SQL之上的企业级JDBC网关，兼容HiveServer2通信协议，提供高可用、多租户等能力。Kyuubi 具有可扩展的架构设计，社区正在努力使其能够支持更多通信协议（如 RESTful、 MySQL）和计算引擎（如Flink）。项目由网易数帆主导开源，并于2021年6月21日正式进入Apache软件基金会孵化器。

Kyuubi 系统介绍

Kyuubi 的命名源自中国神话《山海经》，意为“九尾狐”。狐会喷火，象征 Spark；狐有九尾，类比多租户，在 Spark 上实现多租户是系统设计之初的主要目的。然后我们取了《火影忍者》动漫中角色九尾的罗马音，作为言简意赅的项目名称。Kyuubi 的最终目标是让“大数据平民化”。为实现这个目标，我们遵循“专业人做专业事”的准则，通过 Kyuubi的 C/S 架构，服务端大数据专家可以将 Spark 等大数据算力极致优化并高度封装后提供出来，业务端专家可通过该算力直接在自己擅长的业务领域处理数据产生价值，两者之间也通过简单的接口进行必要且有效的直接交互。

Kyuubi主要特性包括：

• 多租户：Kyuubi支持端到端的多租户。

• 易用性：用户只需要熟悉SQL和JDBC就可以处理大数据。

• 随时随地运行：Kyuubi可以向所有支持的集群管理器提交Spark应用程序，包括YARN、Mesos、Kubernetes、Standalone 和本地。

• 高性能：Kyuubi是建立在Apache Spark上的，这是一个闪电般快速的统一分析引擎。

• 认证和授权：通过强大的认证和细粒度的列/行级授权，Kyuubi可以保证您的系统和数据的安全。

• 高可用：Kyuubi提供基于ZooKeeper的高可用和负载均衡解决方案。

Kyuubi使用场景

替换 HiveServer2，轻松获得 10~100 倍性能提升

1. Kyuubi 高度兼容 HiveServer2 接口及行为，支持无缝迁移
2. Kyuubi 分层架构，消除客户端兼容性问题，支持无感升级
3. Kyuubi 支持 Spark SQL 全链路优化及再增强，性能卓著
4. 高可用、多租户、细粒度权限认证各种企业级特性统统都有

构建 Serverless Spark 平台

1. Serverless Spark 目标绝对不是让用户调用 Spark 的 API、继续写 Spark 作业
2. 通过Kyuubi 预置的 Engine 模块，用户无需理解 Spark 逻辑， 入门门槛极低
3. 用户只需通过JDBC 及 SQL *** 作数据专注自身业务开发即可，资源d性伸缩，0运维
4. 支持资源管理器（Kubernetes, YARN等），Engine 生命周期，Spark 动态资源分配3级不同粒度全方位的资源d性策略
5. 支持YARN/Kubernetes 多种资源管理器同时调度，保障历史作业安全迁移上云
6. Spark 自适应查询引擎（AQE）及 Kyuubi AQE plus，提供澎湃动力

构建统一数据湖探索分析管理平台

1. 支持Spark 所有官方数据源及第三方数据源
2. 支持Spark DSv2 元数据管理，直观进行数据湖构建及管理
3. 支持Apache Iceberg/Hudi, DeltaLake 等所有主流数据湖框架
4. 一个接口一个引擎一份数据，提供统一的分析查询、数据摄取、数据湖管理平台
5. 批流一体，支持流式作业（Upcoming）

Kyubbi生态愿景

Kyubbi社区建设

自项目进入 Apache 孵化器并完成早期项目的迁库开始，Kyuubi 社区一方面在项目导师们的帮助下开始构建新版本的发布计划，完成了本次发布计划；另一方面也在 “Community Over Code” 理念指引下积极壮大社区，在一个多月间内，我们开发者人数完成了近倍数的增长。此外，在用户的驱动下，我们也完成了和其他 Apache 社区的初步合作，比如 Apache DolphinScheduler 及 Apache Iceberg 等，共同帮助用户解决问题。

Kyuubi 的成长和发展，尤其是进入 Apache 软件基金会孵化器，得到了来自各个组织的广大开源热爱者、贡献者以及终端用户的支持，在此特别感谢给 Kyuubi 提供指导的 Champion 和 Mentors：姜宁 Willem Ning Jiang 、章剑锋 Jeff Zhang、张铎 Duo Zhang、Akira Ajisaka。此外，也感谢提出 issue 和建议的伙伴们，以及国内外数十家企业用户的贡献与支持。

未来，Kyuubi 社区将继续践行"Community Over Code"的 Apache 社区文化，欢迎更多的组织和个人参与到 Kyuubi 社区建设，促进 Kyuubi 社区发展。

Kyuubi终端用户

明确从社区提交信息的Kyuubi用户包括：腾讯云、eBay、H3C、海康威视、中国移动、小米、爱奇艺、B站，知乎、T3、问卷网、丰巢、金山办公、合合信息、网易游戏和网易传媒等。

活动火热进行中，点击链接赶快申报吧：申报链接