近日,中国科学技术协会正式公布了2021“科创中国”榜单遴选结果,由网易数帆发起、Apache软件基金会孵化的大数据项目Apache Kyuubi (Incubating)成功入围2021“科创中国”开源创新榜。
2021“科创中国”榜单包括先导技术、突破短板关键技术、开源创新等7大系列,由全国学会、各省市科协推荐,超过150位相关领域院士专家参与初评和终评,Apache Kyuubi (Incubating)能够从参评的1869项开源产品中脱颖而出,表明了评审专家对其在大数据创新体系中贡献度的肯定。
“科创中国”开源创新联合体副理事长兼秘书长陈锐表示,中国开发者数量及开源贡献度增长全球最快,开源项目商业价值也正在取得投资界越来越多的认可。
Apache Kyuubi助推大数据普惠
大数据技术蓬勃发展,普通用户想要与时俱进享用前沿成果,还需要一把能够将复杂技术转化为服务的钥匙。Apache Kyuubi (Incubating)就是这样的一把钥匙。
Apache Kyuubi (Incubating)是一个Thrift JDBC/ODBC服务,支持多租户和分布式等特性,可以满足企业内诸如ETL、BI报表等多种大数据场景的需求。Apache Kyuubi (Incubating)可以为企业级数据湖探索提供标准化的接口,赋予用户调动整个数据湖生态的数据的能力,使得用户能够像处理普通数据一样处理大数据。
一端植根应用,一端聚焦创新,Apache Kyuubi (Incubating)项目发展迅速,自2021年6月21号正式进入Apache孵化器后,社区工作重心是围绕各类主流计算框架,打造一个面向Serverless SQL on Lakehouse的服务。
支持渐进式云原生迁移。Kubernetes云原生平台已经是数字基础设施的标准,从Serverless Spark的工作模式切入,Apache Kyuubi (Incubating)自然支持计算引擎on Kubernetes的场景,但同时也支持YARN、Mesos等资源管理平台,可以基于资源大盘及作业历史错峰调度,这对于有历史资产的团队逐步拥抱云原生显得更为友好。
完善Flink引擎,跟进流批一体。流批一体是保证实时性前提下简化架构降低成本诉求,在流批一体的趋势下,Flink技术愈发受欢迎,Kyuubi最初只对接Apache Spark计算框架,但在2021年Kyuubi Flink SQL Engine 的基架已经落地,并且社区正在努力将其优化成为提交Fink SQL的常规选择。
奔向Lakehouse的星辰大海。作为一种新的数据管理范式,Lakehouse结合了数据湖和数据仓库优势,已经获得越来越多团队的认可,Apache Hudi、Iceberg和DletaLake等数据湖三剑客也成为构建Lakehouse架构的自然选择,而Apache Kyuubi (Incubating)对于三剑客完成了很好的集成。
Apache Kyuubi社区发展后劲渐强
网易数帆基于“把控制权交给客户”的理念选择开源路线,又基于完善软件供应链的想法放弃项目控制权。而捐赠给Apache基金会后,Apache Kyuubi (Incubating)社区发展后劲愈见强大。
目前,Apache Kyuubi (Incubating)社区已经拥有来自多家不同组织的PPMC成员和Committer,项目被数十家知名公司使用,也进入了国内主流公有云服务商的技术选型。远在北美、素未谋面的Womply,也计划在其分析负载中采用Apache Kyuubi (Incubating)来支撑,包括商业分析、报表等场景。
最后,欢迎大家参与Apache Kyuubi (Incubating)社区。
（张铭阳）
