華為云CTO張宇昕表示：“華為云一直致力于云原生技術(shù)、產(chǎn)業(yè)和生態(tài)的建設，Volcano融入了華為云在云原生、AI、大數據、HPC等領(lǐng)域中沉積的行業(yè)和技術(shù)經(jīng)驗，促進(jìn)云原生技術(shù)與企業(yè)數據資產(chǎn)高效融合、充分釋放數據紅利，加速企業(yè)數字化、智能化進(jìn)程。”
CNCF首席技術(shù)官Chris Aniszczyk也表示：“對于復雜的Kubernetes工作負載，尤其是AI、大數據等領(lǐng)域，批處理可以大大簡(jiǎn)化部署。以云原生的方式來(lái)精簡(jiǎn)大批量數據的處理是非常新穎和有價(jià)值的實(shí)踐，Volcano使得Kubernetes能夠成為世界級的工具，助力科學(xué)研究、高性能計算等行業(yè)的發(fā)展。”
Volcano項目于2019年6月開(kāi)源，2020年4月正式成為CNCF沙箱項目。Volcano自2020年進(jìn)入CNCF以來(lái)，在人工智能、大數據、基因測序等海量數據計算和分析場(chǎng)景得到快速應用，并構建起完善的上下游生態(tài)，目前愛(ài)奇藝、小紅書(shū)、蘑菇街、唯品會(huì )、鵬城實(shí)驗室、銳天投資等企業(yè)均已將Volcano應用于生產(chǎn)環(huán)境。
自加入CNCF以來(lái)，Volcano社區已吸引2.6萬(wàn)全球開(kāi)發(fā)者、并獲得2.3k Star和530+ Fork。眾多科技巨頭紛紛加入Volcano社區貢獻，海內外生產(chǎn)落地用戶(hù)廣泛分布于互聯(lián)網(wǎng)、先進(jìn)制造、金融、生命科學(xué)、科研等行業(yè)。Volcano也因其創(chuàng )新的技術(shù)理念、活躍的社區生態(tài)獲得第二屆“中國優(yōu)秀開(kāi)源項目”和 “2021年OSCAR尖峰開(kāi)源社區及開(kāi)源項目獎”，其作業(yè)管理能力被寫(xiě)入由中國信息通信研究院牽頭制定的《高性能計算(HPC)云平臺標準》，成為行業(yè)標準。
過(guò)去兩年，Volcano全球生態(tài)發(fā)展迅速，一批行業(yè)標桿用戶(hù)不僅積極地推動(dòng)Volcano落地生產(chǎn)環(huán)境，也基于自身實(shí)踐反哺社區，實(shí)現雙贏(yíng)。
小紅書(shū)技術(shù)部負責人張雷表示：“云原生批量計算項目Volcano應用于小紅書(shū)大規模機器學(xué)習平臺、大數據平臺等生產(chǎn)系統，支撐著(zhù)搜索、推薦、廣告、內容審核等多項關(guān)鍵業(yè)務(wù)，Volcano大大簡(jiǎn)化和加速了大數據以及AI應用在云原生環(huán)境的落地進(jìn)程，小紅書(shū)業(yè)務(wù)系統借助Volcano提供的豐富功能和優(yōu)越性能，實(shí)現了資源成本的降低和作業(yè)性能的提升，期待Volcano在云原生領(lǐng)域持續深耕，發(fā)揮更大價(jià)值。”
中科類(lèi)腦研發(fā)總監常峰提出：“Volcano是最早針對批量計算場(chǎng)景開(kāi)源的云原生項目之一，其動(dòng)態(tài)可配的高級調度策略和優(yōu)秀的資源管理能力解決了AI場(chǎng)景下作業(yè)調度、生命周期管理、異構硬件支持等多個(gè)問(wèn)題。在落地實(shí)踐的過(guò)程中，我們基于Volcano的能力做擴展，有效提升了系統穩定性和資源利用效率。期待加入CNCF后，在社區的加持下Volcano能持續孕育出更多優(yōu)秀的解決方案和最佳實(shí)踐。”
截止目前，Volcano社區共發(fā)布21個(gè)版本，最新版本為v1.5.1。2022年，社區將會(huì )進(jìn)一步擴大技術(shù)版圖，聚焦以下能力建設：
- 跨云跨集群調度：跨集群一直是分布調度系統解決大規模、災備等問(wèn)題的主要解決方案。同時(shí)，為了降低廠(chǎng)商綁定的風(fēng)險，并最大限度兼顧不同云廠(chǎng)商的優(yōu)勢，多云環(huán)境下的負載高效分發(fā)逐漸成為趨勢。Volcano將會(huì )通過(guò)多個(gè)項目構建分層調度體系，基于全局資源視圖，提供多樣化策略如成本優(yōu)先、效率優(yōu)先等，為作業(yè)發(fā)放提供最佳決策；
- 在離線(xiàn)作業(yè)混部：針對業(yè)界普遍存在的數據中心集群資源率低下的問(wèn)題，Volcano將圍繞業(yè)務(wù)感知、在離線(xiàn)統一調度、資源超賣(mài)、資源隔離與搶占、動(dòng)態(tài)調度等能力的構建，在保證業(yè)務(wù)穩定性的前提下實(shí)現降本增效；
- 彈性調度：針對彈性訓練、競價(jià)實(shí)例的場(chǎng)景，Volcano將會(huì )增強基于min，max的調度能力、作業(yè)感知、資源搶占能力，實(shí)現資源利用最大化；
- GPU虛擬化：推理場(chǎng)景以及GPU開(kāi)發(fā)的場(chǎng)景，GPU使用率普遍偏低，Volcano已實(shí)現多容器共享使用GPU，未來(lái)將進(jìn)一步增強算力、顯存的隔離能力，保障在提升利用率的同時(shí)，降低業(yè)務(wù)間的干擾；
- 細粒度資源管理：Volcano目前通過(guò)Queue提供資源的高效復用，針對更復雜的場(chǎng)景，Volcano將會(huì )通過(guò)Hierarchy Queue,、Policy per Queue、Plugin per Queue等機制提供更細粒度的管理和共享；
- 工作流管理：工作量的編排使用越來(lái)越廣泛，Volcano將基于子項目JobFlow，構建多場(chǎng)景、輕量化、高性能的編排能力；
- 基于真實(shí)負載的動(dòng)態(tài)調度與重調度：針對當前基于資源申請進(jìn)行的負載調度、資源碎片化引入的節點(diǎn)使用率不均衡的問(wèn)題，Volcano將結合監控能力構建基于真實(shí)負載的動(dòng)態(tài)調度和重調度。
華為云一直是云原生新技術(shù)的探路者、產(chǎn)業(yè)新格局的開(kāi)拓者，2015年華為作為唯一亞洲企業(yè)參與云原生計算基金會(huì )（CNCF）創(chuàng )建，并一直是CNCF核心項目的主要貢獻者，代碼貢獻穩居亞洲第一。除Volcano項目外，華為云還捐獻了首個(gè)智能邊緣計算項目KubeEdge、首個(gè)多云容器編排項目Karmada，完善了CNCF的技術(shù)生態(tài)；同時(shí)，華為云還擁有服務(wù)網(wǎng)格頂級開(kāi)源社區Istio在亞洲的首個(gè)指導委員會(huì )席位。
為進(jìn)一步推動(dòng)云原生技術(shù)在各行業(yè)的落地、構建產(chǎn)業(yè)融合新格局，華為云聯(lián)合中國信通院先后發(fā)布了《云原生2.0白皮書(shū)》、《數字政府云原生基礎設施白皮書(shū)》為企業(yè)落地云原生提供體系化的理論參考，并與CNCF、中國信通院聯(lián)合成立了全球云原生交流平臺——創(chuàng )原會(huì )，為全球企業(yè)提供共享、共創(chuàng )、共贏(yíng)的云原生交流平臺，已服務(wù)于500+企業(yè)的技術(shù)管理者。未來(lái)，華為云將持續與廣大客戶(hù)一起共建云原生產(chǎn)業(yè)生態(tài)圈，做深耕數字化的先行者。
