一、擁抱新變化，構(gòu)建新平臺
陶濤表示，隨著數(shù)字經(jīng)濟的發(fā)展，全球數(shù)據(jù)量已經(jīng)進入YB時代(1YB，即1千萬億GB，約為4萬億臺256GB手機的存儲容量)。在數(shù)據(jù)規(guī)模的爆發(fā)式增長下，中國移動的數(shù)據(jù)形態(tài)呈現(xiàn)出“多模態(tài)”特點，即各類數(shù)據(jù)廣泛應用于政府、企業(yè)，并逐步發(fā)展為全局、跨域、規(guī)模化應用。
同時，隨著數(shù)據(jù)量的發(fā)展和數(shù)據(jù)融合的逐步加深，傳統(tǒng)的數(shù)據(jù)庫、數(shù)據(jù)倉庫、大數(shù)據(jù)平臺技術(shù)逐漸顯露出“瓶頸”。在數(shù)據(jù)分散、重復存儲、難于管理等多重困難挑戰(zhàn)下，中國移動緊緊圍繞YB時代生態(tài)、高效處理海量非結(jié)構(gòu)化數(shù)據(jù)、全面提升數(shù)據(jù)韌性等數(shù)據(jù)治理演進方向，打造湖倉一體新型開放式架構(gòu)。這既是中國移動直面數(shù)據(jù)孤島挑戰(zhàn)的態(tài)度，也可以看作是協(xié)同各界力量對建設(shè)未來新型大數(shù)據(jù)平臺的嘗試。
湖倉一體架構(gòu)充分結(jié)合了數(shù)據(jù)湖和數(shù)據(jù)倉庫的優(yōu)勢，在低成本的數(shù)據(jù)湖存儲架構(gòu)之上，繼承了數(shù)據(jù)倉庫的數(shù)據(jù)處理和管理功能，形成了一個完整且高效的數(shù)據(jù)處理體系，實現(xiàn)一份數(shù)據(jù)和一套任務在湖、倉之上的無縫調(diào)度和管理。
二、YB時代，從“存”到“倉”的蝶變
陶濤詳細介紹了湖倉一體技術(shù)架構(gòu)的兩個關(guān)鍵，即存算分離與湖倉融合。
存算分離，即存儲和計算使用單獨的集群，按需分別擴展存儲或計算資源，保證整體系統(tǒng)能夠支持更多用戶并發(fā)和更大數(shù)據(jù)量。
湖倉融合，形成了邏輯統(tǒng)一的一體化數(shù)據(jù)服務，開發(fā)者只需要提交標準SQL(數(shù)據(jù)庫語言)，即可計算出想要的結(jié)果。
湖倉一體作為一種新型開放式架構(gòu)，能夠充分結(jié)合數(shù)據(jù)湖和數(shù)據(jù)倉庫的優(yōu)勢，在數(shù)據(jù)湖低成本的存儲架構(gòu)之上，繼承數(shù)據(jù)倉庫的數(shù)據(jù)處理和管理功能，存儲、轉(zhuǎn)換、集成結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，將不同種類數(shù)據(jù)融合在一起，并從中提取出有用價值。
陶濤認為，“綠色、集約、智能”是湖倉一體技術(shù)架構(gòu)上的核心優(yōu)勢。面對新的應用需求，一方面湖倉一體產(chǎn)品可從用戶的核心訴求出發(fā)更好地支撐數(shù)據(jù)存儲與分析;另一方面，湖倉一體架構(gòu)可支持企業(yè)優(yōu)化自身底層數(shù)據(jù)治理架構(gòu)，從而幫助企業(yè)提升“人效”和“能效”，更精準地抓住商業(yè)機會，創(chuàng)造發(fā)展優(yōu)勢。湖倉一體技術(shù)所具備的高效的數(shù)據(jù)處理優(yōu)勢以及經(jīng)濟、節(jié)能優(yōu)勢，使之在實時數(shù)倉、支撐云原生的融合數(shù)據(jù)底座、降本增效等場景中具有廣泛的應用前景。
基于湖倉一體的架構(gòu)規(guī)劃，中國移動打造了分布式協(xié)同計算平臺。集群分布在全國九大區(qū)域中心，有機融合了數(shù)據(jù)湖(Hadoop)和數(shù)據(jù)倉庫(OLAP)能力，實現(xiàn)物理分散、邏輯統(tǒng)一的一體化數(shù)據(jù)服務。
湖倉一體技術(shù)架構(gòu)為大數(shù)據(jù)產(chǎn)業(yè)提供了未來路徑和方法。陶濤強調(diào)，對于不同的企業(yè)來說，數(shù)據(jù)情況、業(yè)務需求各不相同，但對于統(tǒng)一數(shù)據(jù)存儲、統(tǒng)一數(shù)據(jù)計算、統(tǒng)一數(shù)據(jù)管理，實現(xiàn)企業(yè)數(shù)據(jù)資產(chǎn)應用效能最大化的訴求是一致的。在聯(lián)合產(chǎn)業(yè)合作伙伴發(fā)布技術(shù)標準、技術(shù)白皮書之后，陶濤代表中國移動呼吁產(chǎn)業(yè)合作伙伴共迎變革，共同構(gòu)建湖倉一體創(chuàng)新生態(tài)，推進大數(shù)據(jù)下一代技術(shù)架構(gòu)廣泛應用。
