新型大數據系統技術(shù)的四大挑戰
挑戰一：如何構建數據為中心的計算體系
全球大數據規模增長(cháng)快速，2020年全球新增數據規模為64ZB，是2016年的400%，2035年新增數據將高達2140ZB1，大數據呈現指數級增長(cháng)。隨著(zhù)數字經(jīng)濟的發(fā)展和數字化轉型的深入，愈來(lái)愈多的數據資源正以數據要素的形態(tài)獨立存在并參與數字經(jīng)濟活動(dòng)全過(guò)程。因此構建以數據為中心的新型計算體系，以適用新的應用環(huán)境。如何組織和管理超大規模的數據要素已經(jīng)成為一項難題：例如，針對大數據管理，面臨數據跨域訪(fǎng)問(wèn)帶來(lái)的各種問(wèn)題、系統規模持續增大帶來(lái)的可用性下降、維護大規模數據帶來(lái)的成本和能耗持續增高等嚴峻挑戰。
挑戰二：如何滿(mǎn)足大數據高效處理的需求
數據規模呈指數級增長(cháng)，數據動(dòng)態(tài)傾斜、稀疏關(guān)聯(lián)、應用復雜，傳統大數據處理架構數據處理成本高企、時(shí)效性差，如何滿(mǎn)足規模海量、格式復雜、需求多變的大數據高效處理需求是大數據處理面臨的重要挑戰。
挑戰三：如何實(shí)現多源異構大數據的可解釋性分析
隨著(zhù)數據量持續地爆炸式增長(cháng)和各類(lèi)應用的不斷拓展與深化，基于深度學(xué)習的主流方法因其僅關(guān)注單源單模態(tài)數據且模型只知其然不知其所以然的特性已無(wú)法滿(mǎn)足發(fā)展需求。如何打破數據多源異構造成的隔閡，融合多域甚至全域數據中蘊含的知識，實(shí)現分析結果的可解釋?zhuān)瑥亩嵘淇捎眯裕钱斍按髷祿治雒媾R的主要挑戰。
挑戰四：如何形成系統化大數據治理框架與關(guān)鍵技
針對大數據應用過(guò)程中的對數據匯聚融合、質(zhì)量保障、開(kāi)放流通、標準化和生態(tài)系統建設的需求，大數據治理技術(shù)逐漸成為發(fā)展熱點(diǎn)，然而當前系統化的大數據治理框架尚未形成，開(kāi)放共享、質(zhì)量評估、價(jià)值預測等關(guān)鍵技術(shù)遠未成熟，成為制約大數據發(fā)展的主要瓶頸。
大數據技術(shù)十大未來(lái)發(fā)展趨勢
趨勢一：數據與應用進(jìn)一步分離，實(shí)現數據要素化
數據從一開(kāi)始是依附于具體應用的。數據庫技術(shù)的出現使得數據與應用實(shí)現了第一次分離。數據存儲在數據庫中，不再依賴(lài)具體的應用而存在。數據要素化的需求將推動(dòng)數據與應用進(jìn)一步分離，數據不再依賴(lài)于具體的業(yè)務(wù)場(chǎng)景，數據以獨立的形態(tài)而存在于數據庫中，并通過(guò)數據服務(wù)向不同的業(yè)務(wù)場(chǎng)景提供服務(wù)。例如，人口數據庫，可以向全部的涉及人口信息的業(yè)務(wù)場(chǎng)景提供服務(wù)。
趨勢二：數聯(lián)網(wǎng)作為數字化時(shí)代的新型信息基礎設施
將形成一套完整的數聯(lián)網(wǎng)基礎軟件理論、系統軟件架構、關(guān)鍵技術(shù)體系，包括：針對數聯(lián)網(wǎng)軟件以數據為中心的特點(diǎn)，需要從復雜網(wǎng)絡(luò )和復雜系統等復雜性理論出發(fā)，研究數聯(lián)網(wǎng)軟件的結構組成、行為模式和外在性質(zhì)；針對數聯(lián)網(wǎng)軟件的數據傳存算一體化需求，需要采用數據互操作技術(shù)和軟件定義思想，研究數聯(lián)網(wǎng)軟件運行機理、體系結構與關(guān)鍵機制；針對數聯(lián)網(wǎng)軟件跨層級、跨地域、跨系統運行帶來(lái)的可靠性、可用性、安全性等質(zhì)量挑戰，需要以數據驅動(dòng)為手段，研究數聯(lián)網(wǎng)環(huán)境下保障服務(wù)質(zhì)量與保護質(zhì)量的原理、機制與方法。
趨勢三：從單域到跨域數據管理，促進(jìn)數據要素的共享與協(xié)同
數據為中心計算的核心目標是數據價(jià)值的最大化，關(guān)鍵要打破“數據孤島”，實(shí)現數據要素的高效共享與協(xié)同。傳統數據管理局限在單一企業(yè)、業(yè)務(wù)、數據中心等內部，未來(lái)大數據管理將從傳統的單域模式發(fā)展到跨域模式，跨越空間域、管轄域和信任域。但跨空間域造成網(wǎng)絡(luò )時(shí)延較高且不穩定；跨管轄域造成數據與應用異構，數據管理復雜度大大提升；跨信任域則要求具備容忍各類(lèi)惡意錯誤的能力，跨域帶來(lái)的這些變化將為大數據技術(shù)帶來(lái)了新的機遇和挑戰。
趨勢四：大數據管理與處理系統體系結構異構化日趨明顯
體系結構創(chuàng )新進(jìn)入“黃金十年”，圍繞不同數據處理特征的新型加速器（GPU、TPU、APU 等各種xPU）層出不窮，存儲器件快速發(fā)展，高速SSD、新型非易失內存、新型計算網(wǎng)絡(luò )等成為大數據處理系統的重要硬件配置，計算與存儲的融合趨勢明顯。為極大程度發(fā)揮數據管理能力，大數據管理系統在存儲、網(wǎng)絡(luò )、計算等硬件上最大化挖掘新型硬件的處理能力。在處理上針對不同數據處理需求，配置不同計算與存儲硬件成為大數據處理系統的主流架構。數據驅動(dòng)的計算架構快速發(fā)展，從控制流到數據流到系統設計切換成為大數據處理系統從微觀(guān)到宏觀(guān)的重要體系結構設計理念。
趨勢五：擴展性?xún)?yōu)先設計到性能優(yōu)先設計
數據規模急劇增長(cháng)，大數據處理需求越來(lái)越走向深度價(jià)值挖掘，數據處理計算愈發(fā)密集，數據管理與處理的成本成為大數據管理與處理系統的重要考量因素，傳統“以擴展性?xún)?yōu)先”的大數據處理系統設計將會(huì )被“以性能優(yōu)先”的系統設計所替代。Spark、Flink 等系統在大數據處理生態(tài)系統中的占有率明顯體現了這一趨勢，圖計算（圖加速器、圖計算框架等）、深度學(xué)習框架（Tensorflow、PyTorch 等）等領(lǐng)域專(zhuān)用大數據處理系統的崛起也是這一系統設計理念在技術(shù)生態(tài)上的表現。智能化數據管理、近似計算等新興管理與處理方法成為性能優(yōu)先設計的重要技術(shù)手段。
趨勢六：近數處理成為突破大數據處理系統性能瓶頸的重要途徑
存算一體類(lèi)體系結構技術(shù)快速發(fā)展，新型SSD等新型存儲贏(yíng)家功能愈發(fā)豐富，分布式計算系統邊緣能力迅速發(fā)展，以上三種體系結構技術(shù)發(fā)展為大數據近數處理提供了良好的發(fā)展契機。近數處理體現在“存儲上移”（如在GPU、FPGA 等計算設備上集成HBM）、“算力下沉”（如在DRAM 內存或者SSD 存儲設備上集成處理能力）、“分布擴展”（如在云、邊、端分布式處理數據，降低數據處理中心壓力）。
趨勢七：從單域單模態(tài)分析到多域多模態(tài)融合，實(shí)現廣譜關(guān)聯(lián)計算
傳統大數據分析技術(shù)大多僅聚焦于單一來(lái)源單一模態(tài)數據，而實(shí)際應用中往往要對來(lái)自不同來(lái)源不同模態(tài)（如文本、圖像、音視頻等）的數據進(jìn)行聯(lián)合分析，從而實(shí)現不同來(lái)源與不同模態(tài)數據之間的信息互補。此外，諸多領(lǐng)域的大數據往往具有重要的時(shí)空屬性，當前研究對這類(lèi)信息的利用還不太充分。因此，探究能夠跨模態(tài)關(guān)聯(lián)、跨時(shí)空關(guān)聯(lián)的廣譜關(guān)聯(lián)技術(shù)是大數據分析處理的一個(gè)重要趨勢。
趨勢八：從聚焦關(guān)聯(lián)到探究因果，實(shí)現分析結果可解釋
如何讓大數據分析模型更加穩定且具有可解釋性，從而使其分析結果對用戶(hù)而言變得更加可信、更為可用最好還能具備一定的可回溯性是大數據分析面臨的巨大挑戰。雖然已有因果推斷與可解釋性分析技術(shù)取得了一定進(jìn)展，但總體來(lái)說(shuō)尚處于起步階段，離實(shí)際應用還有很長(cháng)一段距離。因此，從關(guān)聯(lián)到因果也是未來(lái)大數據分析技術(shù)的重要研究方向。
趨勢九：高能效大數據技術(shù)是可持續發(fā)展的關(guān)鍵
全球大數據的持續高速增長(cháng)，尤其是碳達峰、碳中和目標的提出，要求大數據技術(shù)棧必須走低碳高效、可持續發(fā)展的路線(xiàn)。例如云數據管理系統以資源共享、節能高效為主要特點(diǎn)，將是未來(lái)大數據管理的主要基礎形態(tài)；在云數據管理基礎上的全國一體化高能效大數據管理，可以進(jìn)一步由于算力和數據要素的大規模調度與流通，將成為未來(lái)大數據管理的主要方向，形成低碳發(fā)展新格局。
趨勢十：大數據標準規范和以開(kāi)源社區為核心的軟硬件生態(tài)系統將成為發(fā)展的重點(diǎn)
隨著(zhù)大數據在各個(gè)領(lǐng)域應用的迅速普及，標準化需求將不斷增長(cháng)，與大數據流動(dòng)融合、質(zhì)量評估，及與行業(yè)、領(lǐng)域應用密切相關(guān)的大數據標準將成為發(fā)展重點(diǎn)。開(kāi)源社區在大數據軟硬件生態(tài)建設中的地位不斷加強，對開(kāi)源社區的主導權爭奪將成為各國技術(shù)、產(chǎn)品和市場(chǎng)競爭的重要戰場(chǎng)。
