今年是“十四五”開(kāi)局之年,全國各地都在大力布局發(fā)展數字經(jīng)濟。作為推動(dòng)數字經(jīng)濟的重要手段,傳統企業(yè)的數字化轉型也將進(jìn)入快車(chē)道,眾多企業(yè)紛紛選擇“上云用數賦智”作為數字化轉型的標準路徑。在這條轉型路徑中,數據上云是關(guān)鍵,而數據上云首先要做的就是解決存儲問(wèn)題。
實(shí)際上,對于傳統IT基礎設施三大件(計算、存儲、網(wǎng)絡(luò ))之一的存儲也正是當下不少企業(yè)數字化轉型過(guò)程中的一個(gè)痛點(diǎn),主要體現在以下幾個(gè)方面:數據量的增長(cháng)推高了存儲和災難恢復的成本;如何既面向未來(lái)同時(shí)也兼顧歷史,讓原本復雜的IT架構更加復雜,加大了運維難度和成本。如何破解這些難題困擾著(zhù)不少企業(yè)管理者。
9月底,阿里云對外宣布對云存儲服務(wù)進(jìn)行全面升級,包括性能大幅提升3倍、時(shí)延降低70%的ESSD云盤(pán),可兼容HDFS的數據湖存儲OSS,同時(shí)推出一款全新產(chǎn)品“云定義存儲”(Cloud Defined Storage,CDS)。這些發(fā)布直指企業(yè)面臨的存儲痛點(diǎn),有助于幫助企業(yè)破解這些難題,加快企業(yè)上云進(jìn)程,讓企業(yè)充分享受云計算的紅利。而就存儲行業(yè)而言,阿里云的這些發(fā)布加速了存儲技術(shù)的演進(jìn),讓人們再次感受到云計算對傳統IT基礎設施的顛覆,也讓我們更堅定地擁抱云計算。

ESSD云盤(pán):更高性能,更穩定,更多企業(yè)特性
云計算發(fā)展到今天,云盤(pán)作為一項基礎服務(wù)已經(jīng)被廣泛認可,市場(chǎng)同類(lèi)服務(wù)并不少,阿里云ESSD云盤(pán)無(wú)疑是其中的佼佼者。阿里云的ESSD云盤(pán)擁有極高的I/O性能和穩定低時(shí)延能力,適用于數據密集型業(yè)務(wù)上云場(chǎng)景,比如數據庫應用。如今已經(jīng)擁有超過(guò)20萬(wàn)付費用戶(hù)。

ESSD優(yōu)異的性能得益于阿里云的多項技術(shù)自研,底層架構基于自研大規模分布式存儲系統盤(pán)古2.0,存儲芯片采用自研Aliflash SSD,并且依托自研網(wǎng)絡(luò )協(xié)議 Luna和增強型RDMA數據傳輸協(xié)議,結合自研HPCC流控算法,深度優(yōu)化TCP,大幅降低計算資源消耗及響應延時(shí),使ESSD的數據傳輸效率可提高50%。
阿里云ESSD云盤(pán)的產(chǎn)生可以追溯到2016年,這一年正式立項進(jìn)行ESSD云盤(pán)研究;2017年開(kāi)始有了產(chǎn)品,并在阿里集團內部使用,用于支持當年的“雙十一”;2018年,阿里云正式推出ESSD云盤(pán)服務(wù)——業(yè)內首個(gè)跨入IOPS百萬(wàn)時(shí)代的云盤(pán)。此后阿里云一直在持續打磨產(chǎn)品和技術(shù)能力,不斷更新和升級。
阿里云此次發(fā)布的ESSD云盤(pán)已經(jīng)屬第三代,具體包括兩款新品:ESSD PL-X、ESSD Auto PL,有不少技術(shù)突破。比如,此次發(fā)布的ESSD PL-X IOPS最高可達300萬(wàn),單路訪(fǎng)問(wèn)延遲低至30微秒,是云上性能最強塊存儲產(chǎn)品之一,不僅適用于性能敏感型的關(guān)系型數據庫場(chǎng)景(如Oracle數據庫),也適用于性能要求較高的企業(yè)級應用(如SAP ERP系統)。
ESSD Auto PL則將云盤(pán)容量和性能解耦,為客戶(hù)提供性能無(wú)感升級能力,是業(yè)內首個(gè)支持性能預配置并按業(yè)務(wù)峰值自動(dòng)提升性能的企業(yè)級塊存儲云產(chǎn)品。它能夠毫秒級感應企業(yè)需求變動(dòng),在業(yè)務(wù)洪峰時(shí)無(wú)感知進(jìn)行性能升級,在業(yè)務(wù)需求回落時(shí)分鐘級自動(dòng)降配。
阿里云基礎產(chǎn)品資深產(chǎn)品總監陳起鯤介紹,第三代ESSD云盤(pán)從三個(gè)維度對ESSD云盤(pán)進(jìn)行了升級,使其具有了更多企業(yè)級特性,從而能滿(mǎn)足企業(yè)非常苛刻的業(yè)務(wù)需求,讓過(guò)去難以上云的一些傳統核心業(yè)務(wù)系統,比如Oracle RAC數據庫、SAP ERP系統也能平滑上云。
第一個(gè)升級是共享能力。眾所周知,在不少傳統企業(yè)中部署有Oracle數據庫、SAP HANA等應用,它們一般是基于傳統架構部署,并不能簡(jiǎn)單地搬到云上,原因之一就是它們采用了共享存儲架構。而阿里云新一代ESSD在其高可靠、高可用、高性能的基礎上實(shí)現了共享訪(fǎng)問(wèn)和IO Fencing能力,兼容線(xiàn)下應用高可用架構(如Oracle RAC、SAP HANA等),使企業(yè)無(wú)需改造應用架構,即可將關(guān)鍵業(yè)務(wù)系統平遷/搬遷上云。
第二個(gè)升級是支持專(zhuān)屬集群,允許云上單租戶(hù)。有些行業(yè)對上云有比較嚴格的行業(yè)監管政策,比如要求單租戶(hù)、與其他客戶(hù)隔離,針對這些需求,阿里云推出了“專(zhuān)屬塊存儲集群”ESSD,能為客戶(hù)提供物理資源隔離能力,幫助企業(yè)構建在云上專(zhuān)屬的IT基礎設施。
第三個(gè)升級是跨地域異步復制。企業(yè)的傳統容災方案有較高的門(mén)檻,比如需要自建/租用容災中心、購買(mǎi)專(zhuān)線(xiàn),且一次性投入成本較高。借助ESSD新增的“云盤(pán)異步復制”功能,可以在不同的可用區和地域之間實(shí)現數據的異步復制,幾乎“零”門(mén)檻實(shí)現異地容災、分鐘級RPO(恢復點(diǎn)目標),大幅降低容災系統建設的門(mén)檻,讓更多客戶(hù)在云上輕松實(shí)現異地數據級災備建設。
實(shí)現這幾個(gè)升級并不容易。阿里云智能研究員滿(mǎn)弓介紹,要讓云盤(pán)能根據負載變化 自動(dòng)進(jìn)行性能伸縮,面臨較大的技術(shù)挑戰。比如,要能快速感知I/O的變化,阿里云現在可以做到10毫秒內感知I/O變化,秒級資源重新配置,來(lái)實(shí)現對客戶(hù)業(yè)務(wù)負載變化的快速響應。
另外,云盤(pán)性能的彈性伸縮不僅僅涉及到一個(gè)云盤(pán),它通常是作為整個(gè)分布式系統中的一部分,在系統中可能會(huì )有上千塊云盤(pán),當用戶(hù)負載發(fā)生變化,所有的云盤(pán)性能都會(huì )升高,有可能會(huì )超過(guò)單集群性能的水平。此時(shí),就要對整個(gè)集群進(jìn)行多維的實(shí)時(shí)預測和監控,并能通過(guò)多集群分鐘級的打散來(lái)平滑分擔用戶(hù)的流量,當前阿里云可以在分鐘級實(shí)現跨集群的水位均衡。
數據湖3.0:大數據與AI一體化
這幾年,隨著(zhù)數據價(jià)值被越來(lái)越多企業(yè)認可,數據湖的建設備受關(guān)注。數據湖中的數據主要來(lái)自于傳統關(guān)系型數據庫中的結構化數據,大數據、AI平臺的半結構化和非結構化數據。隨著(zhù)大數據和AI應用的普及,后兩類(lèi)數據占比越來(lái)越大,而且大數據和AI開(kāi)始逐漸融合。然而,大數據主要是HDFS生態(tài),而AI應用主要對象存儲生態(tài),這兩者有不同的語(yǔ)義,統一起來(lái)并不容易。
陳起鯤介紹,早期的數據湖雖然采用了存算分離,但AI應用和大數據應用的數據是分開(kāi)的,阿里云稱(chēng)其為數據湖1.0。后來(lái)在技術(shù)的進(jìn)步和用戶(hù)需求的雙重推動(dòng)下,這兩者開(kāi)始融合,進(jìn)入數據湖2.0階段。此時(shí)數據都存儲到對象存儲里,但是大數據應用的元數據仍然保存在HDFS中。
阿里云發(fā)布的對象存儲OSS屬于數據湖3.0技術(shù),其在2.0基礎上又向前走了一步,徹底打通了AI和大數據應用,實(shí)現了百分百兼容HDFS語(yǔ)義以及全服務(wù)化,數據和元數據統一保存到對象存儲中,實(shí)現了高性能AI計算與大數據分析的融合。這樣,同一套數據既可以進(jìn)行大數據建模,同樣也可以用于A(yíng)I訓練,大大提高了效率,也節約了成本。
另外,阿里云的OSS在數據安全合規和個(gè)人隱私保護方面還做了不少工作,而且這些產(chǎn)品能力是原生與對象存儲是融合的。
據悉,為了充分滿(mǎn)足客戶(hù)需求,阿里云在此前已有的標準型OSS、低頻型OSS和歸檔型OSS的基礎上,此次新增了冷歸檔型OSS,用戶(hù)可以根據文件創(chuàng )造的時(shí)間和更新的熱度來(lái)配置對數據進(jìn)行全生命周期管理,支持所有存儲類(lèi)型沉降至冷歸檔,降本最高達 90%。
截至目前,阿里云上已經(jīng)有6000多個(gè)數據湖,它們借助阿里云OSS的一份數據、多份數據引擎、多個(gè)計算能力構建起了自己的數據分析能力。
云定義存儲:將云存儲帶到線(xiàn)下
盡管云計算普及勢不可擋,但并不是所有企業(yè)所有業(yè)務(wù)都能上云的。對于這部分企業(yè),是不是就不能享受阿里云存儲技術(shù)的這些創(chuàng )新紅利了?答案當然是否定的。
阿里云正在改變這一現狀。阿里云發(fā)布了“云定義存儲”(Cloud Defined Storage,CDS)產(chǎn)品,作為一款支持本地部署的分布式存儲產(chǎn)品,阿里云CDS擁有與公共云存儲相同的技術(shù)架構,讓企業(yè)客戶(hù)在本地也能部署和使用與公共云一致的存儲產(chǎn)品。
阿里云CDS最小起建規模低至9節點(diǎn),最大可擴展至12萬(wàn)節點(diǎn),幾乎擁有無(wú)限橫向擴展能力。值得一提的是,得益于盤(pán)古2.0極佳的擴展性與兼容性,阿里云CDS支持“一云多芯”,可在Intel、海光、鯤鵬、飛騰等硬件平臺上提供一致的產(chǎn)品功能與服務(wù)能力。
阿里云CDS除了具有與阿里云公共云一致的產(chǎn)品能力,還原生支持多租戶(hù)架構以及自服務(wù)能力,提供租戶(hù)身份識別與細粒度資源鑒權能力,既支持租戶(hù)之間共享資源,又做到了各服務(wù)間的資源隔離,保障了企業(yè)數據安全。
CDS基于盤(pán)古分布式存儲底座,把阿里云存儲的一致體驗覆蓋到客戶(hù)多樣化的部署場(chǎng)景。其中,“盤(pán)古”作為數據存儲統一底座,支撐了阿里巴巴所有數據存儲業(yè)務(wù),得到了規模化應用,解決了超大規模下數據不丟、不錯和高可用的難題,讓存儲更加穩定可靠、擁有更大的容量和更高的性能,滿(mǎn)足數字經(jīng)濟時(shí)代對海量存儲和快速存儲的需求。在剛剛過(guò)去的世界互聯(lián)網(wǎng)大會(huì )上,阿里云“盤(pán)古”得以入選世界互聯(lián)網(wǎng)領(lǐng)先科技成果,這也是第一次有存儲技術(shù)在這個(gè)會(huì )上獲獎。
據了解,基于阿里云分布式存儲系統“盤(pán)古2.0”構建的阿里云CDS,最大IOPS最高可達百億,云盤(pán)時(shí)延低至百微秒,可支撐數十EB級別存儲規模,單bucket支持萬(wàn)億級文件數,同時(shí)具有金融級的數據容災能力。
這款阿里云所說(shuō)的“云定義存儲”產(chǎn)品與傳統的“軟件定義存儲”不同。陳起鯤介紹,“云定義存儲”本質(zhì)上就是服務(wù)定義存儲,是一種以服務(wù)上層應用、服務(wù)多租戶(hù)共享、服務(wù)規模化部署而設計的產(chǎn)品,是真正的云時(shí)代存儲。
以服務(wù)定義存儲、與公共云一致的技術(shù)架構、經(jīng)過(guò)大規模多樣化IO壓力驗證的產(chǎn)品能力,可以說(shuō),阿里云今天推動(dòng)了存儲行業(yè)技術(shù)革新的一大步。這得益于一個(gè)獨特的練兵場(chǎng)——歷年的“雙11”的錘煉,打造了阿里云滿(mǎn)足大規模業(yè)務(wù)場(chǎng)景超高要求的技術(shù)競爭力和產(chǎn)品差異化能力,幫助阿里云存儲不斷精進(jìn)存儲技術(shù)和產(chǎn)品的打磨,為客戶(hù)創(chuàng )造更多價(jià)值。
根據IDC的預測,今年全球數字經(jīng)濟規模將占整體經(jīng)濟的50%,而中國的數字經(jīng)濟規模將達到8.5萬(wàn)億美元,占中國總體經(jīng)濟規模的55%左右。數字化轉型是數字經(jīng)濟的動(dòng)能和引擎,在這場(chǎng)數字化轉型大潮中,云存儲將和其他云服務(wù)一起迎來(lái)大的發(fā)展機遇,阿里云和其他同行一起正在推動(dòng)云存儲技術(shù)的不斷進(jìn)步,而對于正在進(jìn)行數字化轉型的企業(yè)而言,新技術(shù)也是一個(gè)發(fā)展契機,誰(shuí)先擁抱它們,誰(shuí)就率先受益,在市場(chǎng)上贏(yíng)得更多的競爭優(yōu)勢。