全球最大的開(kāi)源軟件基金會(huì ) Apache 軟件基金會(huì )(以下簡(jiǎn)稱(chēng) Apache)于美國時(shí)間 2022 年 6 月 16 日宣布,Apache Doris 成功從 Apache 孵化器畢業(yè),正式成為 Apache 頂級項目(Top-Level Project,TLP)。
Apache Doris 官方網(wǎng)站:http://doris.apache.org
Apache Doris GitHub:https://github.com/apache/incubator-doris
Apache Doris 是一個(gè)基于 MPP 的現代化、高性能、實(shí)時(shí)的分析型數據庫,以極速易用的特點(diǎn)被人們所熟知,僅需亞秒級響應時(shí)間即可返回海量數據下的查詢(xún)結果,不僅可以支持高并發(fā)的點(diǎn)查詢(xún)場(chǎng)景,也能支持高吞吐的復雜分析場(chǎng)景。基于此,Apache Doris 在多維報表、用戶(hù)畫(huà)像、即席查詢(xún)、實(shí)時(shí)大屏等諸多業(yè)務(wù)領(lǐng)域都能得到很好應用。
Apache Doris 最早是誕生于百度內部廣告報表業(yè)務(wù)的 Palo 項目,2017 年正式對外開(kāi)源,2018 年 7 月由百度捐贈給 Apache 基金會(huì )進(jìn)行孵化,之后在 Apache 導師的指導下由孵化器項目管理委員會(huì )成員進(jìn)行孵化和運營(yíng)。
“我們很自豪 Doris 能夠順利從Apache孵化器畢業(yè),這是一個(gè)重要的里程碑。在整個(gè)孵化階段,依靠 Apache 理念的指導和孵化器導師的幫助,我們學(xué)會(huì )了如何以Apache的方式去發(fā)展我們的項目與社區,也在這一進(jìn)程中獲得了巨大的成長(cháng)。” Apache Doris VP 陳明雨說(shuō)道。
目前 Apache Doris 社區已經(jīng)聚集了來(lái)自不同行業(yè)近百家企業(yè)的 300 余位貢獻者,并且每月活躍貢獻者人數也接近 100 位。在孵化期間,Apache Doris 一共發(fā)布了 8 個(gè)重要版本,完成了包括存儲引擎升級、向量化執行引擎等諸多重大功能,并正式發(fā)布了 1.0 版本。正是依靠這些來(lái)自開(kāi)源貢獻者的力量,才使得 Apache Doris 取得了今天的成績(jì)。
與此同時(shí),Apache Doris 如今在中國乃至全球范圍內都擁有著(zhù)廣泛的用戶(hù)群體,截止目前, Apache Doris 已經(jīng)在全球超過(guò) 500 家企業(yè)的生產(chǎn)環(huán)境中得到應用,在中國市值或估值排行前50的互聯(lián)網(wǎng)公司中,有超過(guò) 80% 的公司長(cháng)期使用 Apache Doris,包括百度、美團、小米、京東、字節跳動(dòng)、騰訊、快手、網(wǎng)易、微博、新浪、360 等知名公司。同時(shí)在一些傳統行業(yè)如金融、能源、制造、電信等領(lǐng)域也有著(zhù)豐富的應用。
“你可以基于 Apache Doris 快速構建一個(gè)簡(jiǎn)單易用并且性能強大的數據分析平臺,非常易于上手,所需要付出的學(xué)習成本非常低。并且 Apache Doris 的分布式架構非常簡(jiǎn)潔,可以極大降低系統運維的工作量,這也是越來(lái)越多用戶(hù)選擇 Apache Doris 的關(guān)鍵因素。”
作為一款成熟的分析型數據庫項目,Apache Doris 有以下優(yōu)勢:
- 性能優(yōu)異:自帶高效的列式存儲引擎,減少數據掃描量的同時(shí)還實(shí)現了超高的數據壓縮比。同時(shí) Doris 還提供了豐富的索引結構來(lái)加速數據讀取與過(guò)濾,利用分區分桶裁剪功能,Doris 可以支持在線(xiàn)服務(wù)業(yè)務(wù)的超高并發(fā),單節點(diǎn)最高可支持上千 QPS。更進(jìn)一步,Apache Doris 結合了向量化執行引擎來(lái)充分發(fā)揮現代化 CPU 并行計算能力,輔以智能物化視圖技術(shù)實(shí)現預聚合加速,并可以通過(guò)查詢(xún)優(yōu)化器同時(shí)進(jìn)行基于規劃和基于代價(jià)的查詢(xún)優(yōu)化。通過(guò)上述多種方式,實(shí)現了極致的查詢(xún)性能。
- 簡(jiǎn)單易用:支持標準 ANSI SQL 語(yǔ)法,包括單表聚合、排序、過(guò)濾和多表 Join、子查詢(xún)等,還支持窗口函數、Grouping Set 等復雜 SQL 語(yǔ)法,同時(shí)用戶(hù)可以通過(guò) UDF 和 UDAF 等自定義函數來(lái)拓展系統功能。除此以外,Apache Doris 還實(shí)現了 MySQL 協(xié)議兼容,用戶(hù)可以通過(guò)各類(lèi)客戶(hù)端工具來(lái)訪(fǎng)問(wèn) Doris,并支持與 BI 工具的無(wú)縫對接。
- 架構精簡(jiǎn):系統只有兩個(gè) Frontend(FE)和 Backend(BE)兩個(gè)模塊,其中 FE 節點(diǎn)負責用戶(hù)請求的接入、查詢(xún)計劃的解析、元數據存儲及集群管理等工作,BE 節點(diǎn)負責數據存儲和查詢(xún)計劃的執行,自身就是一個(gè)完備的分布式數據庫管理系統,用戶(hù)無(wú)需安裝任何第三方管控組件即可運行起 Apache Doris 集群,并且部署和升級過(guò)程都非常簡(jiǎn)易。同時(shí),任一模塊都可以支持橫向拓展,集群最高可以拓展到數百個(gè)節點(diǎn),支持存儲超過(guò) 10PB 的超大規模數據。
- 穩定可靠:支持數據多副本存儲,集群具備自愈功能,自身的分布式管理框架可以自動(dòng)管理數據副本的分布、修復和均衡,副本損壞時(shí)系統可以自動(dòng)感知并進(jìn)行修復。節點(diǎn)擴容時(shí),僅需一條 SQL 命令即可完成,數據分片會(huì )自動(dòng)在節點(diǎn)間均衡,無(wú)需人工干預或操作。無(wú)論是擴容、縮容、單節點(diǎn)故障還是在升級過(guò)程中,系統都無(wú)需停止運行,可正常提供穩定可靠的在線(xiàn)服務(wù)。
- 生態(tài)豐富:提供豐富的數據同步方式,支持快速加載來(lái)自本地、Hadoop、Flink、Spark、Kafka、SeaTunnel 等系統中的數據,也可以直接訪(fǎng)問(wèn) MySQL、PostgreSQL、Oracle、S3、Hive、Iceberg、Elasticsearch 等系統中的數據而無(wú)需數據復制。同時(shí)存儲在 Doris 中的數據也可以被 Spark、Flink 讀取,并且可以輸出給上游數據應用進(jìn)行展示分析。
“畢業(yè)不是最終目標,它是新征程的起點(diǎn)。”陳明雨說(shuō)到。“在過(guò)去,我們發(fā)起 Doris 的目標是為更多人提供體驗更佳的數據分析工具、解決他們數據分析的難題。成為 Apache 頂級項目一方面是對 Apache Doris 社區過(guò)去所有貢獻者一直以來(lái)辛勤工作的肯定,另一方面也意味著(zhù)我們在 Apache Way 的指引下建立了一個(gè)強大的、繁榮的、可持續發(fā)展的開(kāi)源社區。未來(lái)我們將會(huì )繼續以 Apache 方式運作社區,相信會(huì )吸引到更多優(yōu)秀的開(kāi)源貢獻者參與社區中來(lái),社區也會(huì )在所有貢獻者的幫助下得到進(jìn)一步成長(cháng)。”
“Apache Doris 后續將開(kāi)展更多富有挑戰且有意義的工作,包括新的查詢(xún)優(yōu)化器、對湖倉一體化的支持,以及面向云上基礎設施的架構演進(jìn)等等。歡迎更多的開(kāi)源技術(shù)愛(ài)好者加入Apache Doris 的社區,攜手共成長(cháng)。”
“我們再次由衷地感謝所有參與建設 Apache Doris 社區的貢獻者們,以及所有使用 Apache Doris 并不斷提出改進(jìn)建議的用戶(hù)們。同時(shí)也感謝一路走來(lái),不斷鼓勵、支持和幫助過(guò)我們的孵化器導師、IPMC成員以及各個(gè)開(kāi)源項目社區的朋友們。”
關(guān)于 SelectDB
SelectDB 是一家開(kāi)源技術(shù)公司,致力于為 Apache Doris 社區提供一個(gè)由全職工程師、產(chǎn)品經(jīng)理和支持工程師組成的團隊,繁榮開(kāi)源社區生態(tài),打造實(shí)時(shí)分析型數據庫領(lǐng)域的國際工業(yè)界標準。基于 Apache Doris研發(fā)的新一代云原生實(shí)時(shí)數倉 SelectDB,運行于多家云上,為用戶(hù)和客戶(hù)提供開(kāi)箱即用的能力。

相關(guān)鏈接
SelectDB 官方網(wǎng)站:
https://selectdb.com (We Are Coming Soon)
Apache Doris 官方網(wǎng)站:
http://doris.apache.org
Apache Doris Github:
https://github.com/apache/incubator-doris
Apache Doris 開(kāi)發(fā)者郵件組:
dev@doris.apache.org