中國科學(xué)院院士梅宏：云計算，這10 年

　　

　　回顧云計算的發(fā)展歷史，2006年可稱(chēng)為云計算發(fā)展元年。亞馬遜公司利用虛擬化這種經(jīng)典的系統軟件技術(shù)開(kāi)創(chuàng )了“硬件即服務(wù)”商業(yè)模式，使得計算資源可以像水電一樣方便地提供給公眾使用，這也標志著(zhù)公眾能夠感知到的云計算時(shí)代由此開(kāi)始。之后的云計算發(fā)展可以分為3個(gè)階段：

　　云計算的“硬件即服務(wù)”商業(yè)模式得到業(yè)界和大眾的廣泛認可，各種公有云產(chǎn)品如雨后春筍般出現，然而，人們對云計算本質(zhì)和技術(shù)重點(diǎn)的認識卻眾說(shuō)紛“云”。產(chǎn)業(yè)巨頭、學(xué)術(shù)界都或多或少地從自身業(yè)務(wù)的角度來(lái)看待云計算，給出了各自的定義和說(shuō)法，而每個(gè)都有各自的特點(diǎn)和不足。縱觀(guān)云計算的技術(shù)重點(diǎn)，大規模計算資源的虛擬化和軟件棧的服務(wù)化是主要的使能技術(shù)。這期間，硬件資源虛擬化及其管理技術(shù)獲得繁榮發(fā)展，推動(dòng)人們對云的概念和認識不斷深入：KVM于2007年進(jìn)入Linux內核；LXC于2008年發(fā)布第一版；VMware于2009年推出VSphere；HyperV于2008年發(fā)布，其驅動(dòng)于2009年提交到Linux內核；CloudStack于2010年開(kāi)源；后來(lái)成為私有云最重要基礎設施的OpenStack于2010年由NASA和Rackspace發(fā)起……各種服務(wù)模式大量涌現，出現了眾多的XaaS概念。不少重要的云計算技術(shù)以開(kāi)源模式發(fā)布，開(kāi)源逐漸成為云基礎設施的重要選擇，云計算的概念逐漸走向清晰。

　　出現大量圍繞云進(jìn)行的技術(shù)實(shí)踐和驗證，各方不斷“攻城略地”，以期在商業(yè)市場(chǎng)上占領(lǐng)先機。云計算獲得了飛速發(fā)展，并在全球范圍內形成了千億美元規模的市場(chǎng)。2011年，NIST發(fā)布的云計算白皮書(shū)對云計算進(jìn)行了較為權威的定義，基本終結了眾說(shuō)紛“云”狀況。XaaS沉淀為以IaaS、PaaS和SaaS為主的3種服務(wù)模式；私有云雖起步較晚，但發(fā)展迅速，其熱度已超過(guò)公有云；混合云成為新的熱點(diǎn)。移動(dòng)互聯(lián)終端的大量出現引發(fā)了云-端融合的新趨勢，進(jìn)而影響云計算的部署模式。云服務(wù)和管理的關(guān)鍵技術(shù)與系統走向成熟，OpenStack和CloudStack等開(kāi)源計算平臺得到廣泛應用，以OpenFlow為代表的軟件定義網(wǎng)絡(luò )成為云服務(wù)及管理的重要成分，對涵蓋計算、存儲和網(wǎng)絡(luò )等全硬件棧資源進(jìn)行軟件定義成為共識，以應對大量靈活部署虛擬機的需求。云資源管理全面走向軟件定義使得云平臺可以對規模化的資源進(jìn)行高效的管理。

　　伴隨著(zhù)云平臺的成熟和各式終端設備的出現，云計算正進(jìn)入一個(gè)新的“繁榮發(fā)展”時(shí)期。其重要標識就是云計算的重心開(kāi)始從以提供云設施為主轉為支撐云應用為主，如何應對復雜多樣的應用需求成為云計算重要的關(guān)注點(diǎn)，API經(jīng)濟開(kāi)始興起。大數據開(kāi)始成為云計算的重要應用，據IDC報告，2015年基于云的大數據處理投入增長(cháng)速度將是基于企業(yè)自建解決方案的3倍，2015年所有大數據應用中使用云平臺進(jìn)行存儲或處理的占比將達到約40%。面向端設備的、基于云的應用將越來(lái)越多也越來(lái)越專(zhuān)業(yè)，云-端融合將成為云計算的新常態(tài)和新模式，而由軟件平臺來(lái)支撐云-端融合將變得越來(lái)越靈活。應用繁榮期的云計算呈現應用領(lǐng)域化、資源泛在化、系統平臺化和服務(wù)質(zhì)量綜合提升的趨勢。

　　過(guò)去10年，國內云計算同樣獲得了長(cháng)足發(fā)展，一個(gè)顯著(zhù)的特征是各級政府的積極介入和推動(dòng)。我國各級政府發(fā)布了一系列推動(dòng)云計算及其相關(guān)領(lǐng)域和相關(guān)行業(yè)發(fā)展的政策，制定并發(fā)起了各種各樣的云計劃和云項目，例如，國務(wù)院2010年就將云計算納入戰略性新興產(chǎn)業(yè)規劃，科技部和工業(yè)和信息化部等分別啟動(dòng)了云計算科技產(chǎn)業(yè)項目，各地方政府也啟動(dòng)了各種云計算項目。很多企業(yè)如阿里、百度和華為等也在云計算領(lǐng)域進(jìn)行了卓有成效的成功實(shí)踐并逐步加大投入。這些都大力推動(dòng)了我國云計算的發(fā)展。可以說(shuō)，我國云計算具有了世界級的應用和市場(chǎng)，并在云計算技術(shù)方面開(kāi)始取得長(cháng)足進(jìn)步。

　　未來(lái)云計算的發(fā)展趨勢可以用5個(gè)字概括：“三化一提升”，其中“三化”是指應用領(lǐng)域化、資源泛在化和系統平臺化，而“一提升”則指服務(wù)質(zhì)量的提升。隨著(zhù)互聯(lián)網(wǎng)聯(lián)網(wǎng)設備越來(lái)越多，我們正進(jìn)入一個(gè)“人-機-物”融合、萬(wàn)物互聯(lián)的時(shí)代，如何將各種網(wǎng)絡(luò )資源進(jìn)行有效管理，如何應對各種各樣的應用需求，從而使得應用支撐和資源之間能夠更好地溝通，是未來(lái)云計算技術(shù)需要著(zhù)重解決的問(wèn)題。

　　應用領(lǐng)域化是指面向各個(gè)領(lǐng)域、各種應用需求的領(lǐng)域云和行業(yè)云等將會(huì )不斷出現，例如支持電力的云、醫療的云和交通的云等等。隨著(zhù)云計算底層支撐技術(shù)的日益成熟，云計算的關(guān)注重點(diǎn)將轉移到對上層應用的支撐。面向特定領(lǐng)域需求，提供支撐應用開(kāi)發(fā)和運行的API、解決方案及其一體化環(huán)境，以支撐更多云應用，是云計算發(fā)展面臨的新挑戰。可以預期，領(lǐng)域云和行業(yè)云等專(zhuān)用云平臺將具有廣闊的空間。

　　應用領(lǐng)域化的一個(gè)重要技術(shù)是具備云感知能力的軟件服務(wù)。早期的信息系統是緊耦合一體化的，應用自我建設、自我包含，業(yè)務(wù)處理功能難以分割；軟件即服務(wù)（SaaS）概念的提出催生了SOA體系，用于實(shí)現松耦合的分布式應用，應用建設依賴(lài)于互聯(lián)網(wǎng)上的“粗粒度”服務(wù)，業(yè)務(wù)處理功能分散存在于互聯(lián)網(wǎng)上；而云計算的新發(fā)展正在催生SaaS 2.0，各種服務(wù)應用充分利用云提供的API，基于云所提供的服務(wù)或者微服務(wù)進(jìn)行構建，服務(wù)應用運行在云中，同時(shí)感知云環(huán)境中各種資源的變化，提供優(yōu)化的服務(wù)質(zhì)量。

　　未來(lái)“人-機-物”融合的世界，計算資源廣泛多樣，需要充分發(fā)揮各種資源的能力。在移動(dòng)互聯(lián)網(wǎng)的驅動(dòng)下，云和智能終端開(kāi)始融合（云-端融合），未來(lái)甚至涉及物聯(lián)網(wǎng)節點(diǎn)的融合，新的云-端融合的云計算體系架構正在形成，簡(jiǎn)單地側重使用某一端資源已經(jīng)不再適用，按需（動(dòng)態(tài)可變地）使用客戶(hù)端和服務(wù)器資源，是云計算架構發(fā)展的又一新趨勢。一方面，客戶(hù)端和服務(wù)端的軟件資源、硬件資源和能源可以在兩端實(shí)現合理分布和應用，兩端的數據和獨特資源也可以實(shí)現共享；另一方面，未來(lái)的云將不僅需要支撐現在移動(dòng)互聯(lián)網(wǎng)的智能手機和平板電腦等終端，還需要支撐物聯(lián)網(wǎng)所承載的各種各樣的聯(lián)網(wǎng)設備，在這樣一個(gè)泛在化網(wǎng)絡(luò )環(huán)境下，面向各種海量新硬件的云資源管理將會(huì )面臨很大的挑戰。

　　越來(lái)越多的新型硬件進(jìn)入云平臺。在服務(wù)器硬件方面，包括RDMA和NVM等新型硬件設備開(kāi)始投入應用，諸如機器學(xué)習和數據挖掘等專(zhuān)用計算架構不斷涌現，各種類(lèi)腦、神經(jīng)網(wǎng)絡(luò )、深度學(xué)習等專(zhuān)用芯片也開(kāi)始上市……如何及時(shí)、有效地管理和利用新的硬件設備和架構，充分發(fā)揮其效能，是云管理平臺的一項重要任務(wù)。在終端硬件方面，新型的傳感器設備種類(lèi)繁多且數量巨大，從攝像頭到GPS定位，從監測血壓、測量海拔高度到光陀螺儀等等，如此海量的傳感器能否在云平臺上實(shí)現統一管理，也是新型云平臺將面臨的挑戰。

　　在資源泛在化的背景下，云還呈現出多尺度和差異化的現象，公有云、私有云和混合云并存；既有少量規模龐大的大型云，更有大量的利用已有資源的微小云；有實(shí)體云，還有基于實(shí)體云的虛擬云和聯(lián)盟云。未來(lái)跨云計算的需求也將越來(lái)越突出，如何跨越多云為應用提供服務(wù)，實(shí)現多云之間的開(kāi)放協(xié)作和深度合作，也是資源泛在化背景下的一個(gè)重要課題。針對多云協(xié)作的問(wèn)題，我國科學(xué)家提出了云際計算的概念，希望實(shí)現云服務(wù)實(shí)體之間的開(kāi)放協(xié)作和多方云資源的深度融合，從而方便用戶(hù)和開(kāi)發(fā)者定制云服務(wù)、創(chuàng )造云價(jià)值，這是下一代云計算研究的一個(gè)代表性嘗試。

　　云計算的另一個(gè)重要趨勢是系統平臺化，云計算支撐系統呈現從云資源管理系統向云操作系統演化的趨勢。“云操作系統”的概念現在用得比較多，但均未達到預期的操作系統形態(tài)和能力。什么是操作系統？簡(jiǎn)單而言就是向下管理資源，向上提供服務(wù)。例如單機操作系統，其基本由兩大功能構成：管理資源和管理作業(yè)。目前云管理系統主要作用是管理云的資源，以支撐各種應用的運行；未來(lái)，其還要管理云上各種各樣的作業(yè)，這一理念和單機操作系統相似，是系統平臺化之路共性不斷凝練和沉淀的結果。云管理系統的共性理念是什么？我們的理解是：其應包含云操作系統、單機操作系統、各種各樣的應用容器和中間件，以支撐各類(lèi)云服務(wù)。要實(shí)現真正意義上的云操作系統，需要向下管理所有云端和終端的資源，向上則對多樣化的資源應用需求提供相應的API服務(wù)。

　　云操作系統的發(fā)展面臨著(zhù)哪些挑戰？在現階段，需要應對復雜多樣的應用需求，將傳統應用無(wú)縫云化，需要支持基于互聯(lián)網(wǎng)的多終端一體交互方式，以及云內海量異構資源的有效管理等；更進(jìn)一步則需要向上更好地支撐應用，探索原生云應用的運行與構造技術(shù)，研究開(kāi)發(fā)新型程序設計模型和相關(guān)的編程語(yǔ)言，設計云作業(yè)的統一調度和管理機制，進(jìn)行跨云和云際資源的按需整合，實(shí)現云服務(wù)的自主協(xié)同等。

　　在整個(gè)云資源的管理與定制方面，軟件定義是一個(gè)重要途徑，通過(guò)軟件定義方式可以完成深度定制，以管理各種各樣的資源，包括分布式資源的高效融合、巨量資源彈性調配、極端硬件特性和移動(dòng)硬件特性的虛擬化、集約化的資源便捷共享、可定制化的系統軟件棧，以及終端和云端的融合協(xié)作等，為從微型虛擬機、小型虛擬機到滿(mǎn)足更大需要的巨型虛擬機提供寬譜系的管理支撐。

　　服務(wù)質(zhì)量的提升可以用3個(gè)詞概括——更高、更快、更強壯。其中，“高”意味著(zhù)支持高吞吐，這需要聚合大規模資源、提供海量數據的處理能力，以及實(shí)現高吞吐并發(fā)訪(fǎng)問(wèn)。支持高吞吐是很多云應用的需求，例如阿里巴巴每年“雙十一”的巨量交易、12306網(wǎng)站高峰時(shí)的巨量訪(fǎng)問(wèn)，以及其它各種各樣面向大規模社交圈數據的跨地域分布式存儲系統等，都對高吞吐具有很大的需求。

　　在高吞吐的前提下還要實(shí)現“快”響應，也就是在提供高吞吐的同時(shí)顯著(zhù)降低請求的響應時(shí)間，提升用戶(hù)體驗與服務(wù)質(zhì)量。這方面的需求在現實(shí)中也有很多，據Amazon統計，每降低100毫秒延遲可以換來(lái)1%銷(xiāo)售額的提高；Akamai的研究指出：網(wǎng)頁(yè)加載延遲1秒將導致平均7%客戶(hù)流失、減少11%網(wǎng)頁(yè)訪(fǎng)問(wèn)量和16%客戶(hù)滿(mǎn)意度；增強/虛擬現實(shí)（AR/VR）需要在1毫秒內完成場(chǎng)景的構建，等等。基于云的大量應用形態(tài)能否獲得成功或提供高的使用質(zhì)量，實(shí)現快響應就是其中的關(guān)鍵。要實(shí)現快響應，云架構和軟件棧的低延遲設計就尤為重要。云計算應用的延遲主要包括兩個(gè)方面：一是網(wǎng)絡(luò )帶來(lái)的延遲，二是云中心帶來(lái)的延遲。按當前統計來(lái)看，二者大約各占50%。應對網(wǎng)絡(luò )帶來(lái)的延遲涉及到帶寬的提升，也需要數據中心合理的分布，以便用戶(hù)可以盡可能訪(fǎng)問(wèn)就近的數據中心；應對云中心帶來(lái)的延遲則需要對基于分層的云計算軟件棧進(jìn)行垂直整合，當前云軟件棧主要面對高吞吐設計，在低延遲尤其是尾部延遲方面有明顯不足，因此技術(shù)上還有很大發(fā)展空間。

　　更“強壯”則體現在更好的可靠和可用性保障。云計算的規模和復雜度的快速增長(cháng)要求更為全面的質(zhì)量保證：首先，數據中心規模不斷增長(cháng)，規模部署成為事實(shí)，高度集成的云計算環(huán)境故障越來(lái)越多，故障帶來(lái)的損失也越來(lái)越大；其次，虛擬化構成的彈性資源池快速增長(cháng)且組織復雜，增加了管理的復雜度；最后，越來(lái)越多的機構計劃采用云計算平臺，持續發(fā)展的業(yè)務(wù)種類(lèi)導致了需求多樣性。在這種情況下，如何實(shí)現高可靠和高可用的云計算系統成為一個(gè)重大挑戰，當前已有各種技術(shù)研發(fā)和嘗試，諸如采用非易失性?xún)却鎭?lái)提升內存計算中數據的可靠性和可用性、使用分布式UPS替代傳統集中式UPS以保證電源供給、在系統級支持虛擬機/容器的狀態(tài)同步和動(dòng)態(tài)遷移，以及在應用層次上的數據并行計算和圖并行計算系統和機制等。

　　互聯(lián)網(wǎng)已經(jīng)逐步演化成一個(gè)全球泛在的計算平臺，其開(kāi)放、動(dòng)態(tài)和難控的特性對軟件技術(shù)提出了一系列重大挑戰。我國學(xué)者從軟件角度探討互聯(lián)網(wǎng)計算，提出了一種互聯(lián)網(wǎng)軟件新范型——網(wǎng)構軟件（Internetware），并在國家“973計劃”項目支持下，針對互聯(lián)網(wǎng)應用的自主性、協(xié)同性、演化性、情境性、涌現性和可信性等新特性，構造了一個(gè)開(kāi)放、協(xié)同的網(wǎng)構軟件模型；進(jìn)而提出了支持按需協(xié)同和在線(xiàn)演化的容器系統結構和相關(guān)機制，支持系統自治管理，為網(wǎng)構軟件提供運行時(shí)的支撐；提出了全生命期軟件體系結構驅動(dòng)的網(wǎng)構軟件開(kāi)發(fā)和演化方法；建立了一套網(wǎng)構軟件技術(shù)體系。近幾年，北大軟件團隊基于網(wǎng)構軟件模式在混合云管理、數據互操作平臺和基于云的大數據處理方面開(kāi)展了一些前沿性的研究工作。

　　在混合云管理系統方面，采用“管理功能API化+管理任務(wù)可編程”的“軟件定義”思路，研制了混合云管理系統——燕云IaaS，實(shí)現了對服務(wù)器、存儲、網(wǎng)絡(luò )和軟件平臺等基礎軟硬件資源的集成與配置管理，支持公有、私有和混合IaaS云的按需構造與管理。燕云已成功轉化為多個(gè)IT企業(yè)的云管理產(chǎn)品，應用于政務(wù)、交通、電信和醫療等多個(gè)行業(yè)領(lǐng)域，相關(guān)技術(shù)成果還獲得了2015年教育部高校科技進(jìn)步一等獎。

　　在數據互操作平臺方面，面向互聯(lián)網(wǎng)環(huán)境下數據孤島阻礙大數據互操作問(wèn)題，研發(fā)了燕云DaaS（Data as a Service）系統，基于體系結構恢復技術(shù)來(lái)抓取應用系統及其構件的API、實(shí)現應用和數據的互操作，同時(shí)可基于A(yíng)PI形成新的運行管理邏輯。該系統可以在沒(méi)有系統源碼和文檔的情況下，將各種Web系統、移動(dòng)App和PC應用的數據封裝成API，打破信息孤島，實(shí)現系統內部數據的開(kāi)放共享。研究成果已成功應用于政府、金融、交通和能源等上百個(gè)應用系統的數據開(kāi)放共享項目。

　　在基于云的大數據處理方面，開(kāi)發(fā)了輕量級數據管理與處理平臺Docklet（https://github.com/unias/docklet），其面向小型數據中心，支持多用戶(hù)和多框架共享資源，通過(guò)容器技術(shù)和軟件定義技術(shù)等將物理集群虛擬化為虛擬集群，支持用戶(hù)按需共享資源，支持Spark和MPI等各種計算框架，可運行現有的各種Python、R和Java等語(yǔ)言的數據分析與處理程序。Docklet提出了云化的“工作空間”概念，用戶(hù)通過(guò)瀏覽器進(jìn)入工作空間，在云端完成所有數據分析工作，包括編碼、測試、運行和結果可視化等。Docklet已在北京大學(xué)計算中心進(jìn)行了部署，為學(xué)校師生在線(xiàn)提供科學(xué)計算、數據分析與可視化，以及虛擬實(shí)驗環(huán)境等云服務(wù)。