去年11月份到今年春節前后，華為存儲研發(fā)骨干曹長(cháng)斌幾乎每天都夜不能寐，因為他參與的FusionStorage 8.0研發(fā)項目遇到各種棘手難題。那段時(shí)間，曹長(cháng)斌甚至連吃飯、跑步都會(huì )想著(zhù)如何解決研發(fā)面臨的問(wèn)題。

　　FusionStorage 8.0是華為存儲近年來(lái)最重要的戰略級產(chǎn)品。它不僅是華為存儲產(chǎn)品線(xiàn)的一次重大升級，也承載著(zhù)幫助用戶(hù)實(shí)現One Data Center One Storage（一個(gè)數據中心一套存儲）的愿望。

　　時(shí)光荏苒，時(shí)鐘不經(jīng)意間已經(jīng)來(lái)到5月15日。這一天，華為新一代智能分布式存儲產(chǎn)品FusionStorage 8.0正式對外發(fā)布。此刻，曹長(cháng)斌如釋重負，連續奮戰多日帶來(lái)的疲憊并不能掩蓋住激動(dòng)之情：“如果需要打分，我愿意給FusionStorage 8.0打十分，它不僅在整體架構、性能、功能等方面遙遙領(lǐng)先，更是華為存儲研發(fā)以客戶(hù)需求為中心，通過(guò)全球化協(xié)作，率先克服業(yè)界眾多挑戰而打造出來(lái)的產(chǎn)品。”

　　FusionStorage 8.0實(shí)現了分布式存儲性能全球第一，單節點(diǎn)性能高達16.8萬(wàn) IOPS和1毫秒以?xún)葧r(shí)延，在業(yè)界標準SPC-1測試中排名第一；首次實(shí)現在一套存儲中同時(shí)支持塊、文件、對象、HDFS協(xié)議；并且，率先將人工智能技術(shù)融入到存儲全生命周期管理。

　　在這一系列靚麗數字的背后，其實(shí)是華為北京、上海、深圳等全球六個(gè)研發(fā)團隊，設計出一套全新的存儲架構，進(jìn)行了數千萬(wàn)行代碼開(kāi)發(fā)與移植，并先后進(jìn)行了近十個(gè)版本的迭代，反復打磨、優(yōu)化的成果。

　　“客戶(hù)經(jīng)常跟我們的架構師們反饋，存儲真的太復雜了。”身為研發(fā)的曹長(cháng)斌會(huì )定期與架構師交流，他介紹到，華為存儲架構師們每年會(huì )花費30%的時(shí)間與一線(xiàn)客戶(hù)進(jìn)行交流，從而將一線(xiàn)業(yè)務(wù)需求盡可能地反饋給研發(fā)人員，進(jìn)而精準研發(fā)出符合客戶(hù)需求的產(chǎn)品和解決方案。

　　存儲的復雜性一直困擾著(zhù)用戶(hù)的數據中心，這種復雜性主要體現為，經(jīng)過(guò)長(cháng)期的信息化建設，用戶(hù)數據中心普遍面臨著(zhù)多種類(lèi)型的存儲，生產(chǎn)、備份、容災通常采用了不同廠(chǎng)商的不同存儲產(chǎn)品，煙囪式的存儲環(huán)境帶來(lái)了巨大的管理復雜度，還無(wú)法讓數據之間很好地流動(dòng)、共享和價(jià)值挖掘。曹長(cháng)斌表示：“客戶(hù)希望更加聚焦在核心業(yè)務(wù)創(chuàng )新上，強烈渴望數據能夠流動(dòng)起來(lái)，通過(guò)一套存儲來(lái)支撐數據中心業(yè)務(wù)，實(shí)現數據之間的生產(chǎn)、流動(dòng)、共享和價(jià)值挖掘。”

　　另一方面，大量行業(yè)客戶(hù)都在加快數字化轉型的步伐，對于基于數據的數字化創(chuàng )新和業(yè)務(wù)敏捷性更加渴求，這也要求承載數據的存儲產(chǎn)品，除了需要簡(jiǎn)化管理復雜度之外，還需要在性能、擴展性、功能、智能化等方面有著(zhù)質(zhì)的提升。

　　曹長(cháng)斌以電信行業(yè)為例：“4K/8K、AR/VR等新業(yè)務(wù)不斷涌現，并且充滿(mǎn)著(zhù)不確定性，傳統存儲產(chǎn)品很難去滿(mǎn)足新業(yè)務(wù)從小到大的成長(cháng)，用戶(hù)們希望不花費更多精力在存儲運維上，通過(guò)一套存儲來(lái)支撐業(yè)務(wù)的變化。”

　　事實(shí)上，FusionStorage 8.0研發(fā)之前，華為已經(jīng)對產(chǎn)品醞釀了很久。最終，華為將FusionStorage 8.0定位為一個(gè)戰略級的平臺產(chǎn)品，在保持分布式存儲的靈活性和高擴展性之時(shí)，可以長(cháng)出其他豐富的功能，包括文件系統、數據庫、數據分析、數據湖等。用戶(hù)可以通過(guò)FusionStorage 8.0來(lái)構建起自身的智能數據基礎設施，以滿(mǎn)足智能時(shí)代下對于數據存儲、管理、分析的訴求。

　　分布式存儲最大的優(yōu)勢在于靈活性，可以幫助用戶(hù)擺脫昂貴的高端硬件，通過(guò)普通的服務(wù)器即可為用戶(hù)提供靈活、可擴展的存儲服務(wù)。但分布式存儲的性能通常很容易遇到瓶頸，與傳統存儲采用“專(zhuān)用堆棧”優(yōu)化性能相比，分布式存儲隨著(zhù)節點(diǎn)數量的增加，性能達到一定量級之后，往往會(huì )因為硬件、網(wǎng)絡(luò )等原因，遇到各種意想不到的“瓶頸”。因此，分布式存儲單節點(diǎn)穩定、出色的性能是考驗分布式存儲成色的重要因素。

　　在曹長(cháng)斌看來(lái)，性能問(wèn)題是FusionStorage 8.0研發(fā)過(guò)程中遇到的最大挑戰之一。“從立項設計時(shí)，我們就希望FusionStorage 8.0能夠達到企業(yè)級全閃存陣列的性能，單節點(diǎn)性能能夠達到14萬(wàn)IOPS，并且時(shí)延控制在1毫秒之內，可以承載企業(yè)級關(guān)鍵應用。研發(fā)團隊為此做了很多預研究的工作。但是在實(shí)際研發(fā)過(guò)程中，的確是遇到了巨大的挑戰。”曹長(cháng)斌所言的挑戰即是性能波動(dòng)問(wèn)題，分布式存儲節點(diǎn)的性能波動(dòng)浮動(dòng)范圍大且不穩定，從而給整個(gè)分布式存儲性能提升帶來(lái)瓶頸。

　　FusionStorage 8.0在開(kāi)發(fā)之初，單節點(diǎn)性能達到10萬(wàn)IOPS之后，性能始終上不去。令研發(fā)團隊更加頭疼的是，產(chǎn)生性能波動(dòng)的“隱形瓶頸”很多，需要研發(fā)人員去逐個(gè)發(fā)現和解決。曹長(cháng)斌表示：“整個(gè)性能波動(dòng)問(wèn)題的解決前前后后花了4個(gè)月時(shí)間，幾乎每天都討論和研究到凌晨2、3點(diǎn)。”

　　為此，在這段時(shí)間里，華為存儲研發(fā)團隊聯(lián)系了華為全球研發(fā)體系中的操作系統調度專(zhuān)家、網(wǎng)絡(luò )專(zhuān)家等，從不同的角度去探索性能波動(dòng)的問(wèn)題所在。“我們首先發(fā)現中斷分配不均的問(wèn)題，有些服務(wù)器中斷過(guò)度，使得服務(wù)器性能發(fā)揮不出來(lái)。因此，經(jīng)過(guò)多個(gè)方案探索之后，實(shí)現了中斷均攤化，將單節點(diǎn)性能提升了20%。解決這個(gè)優(yōu)化點(diǎn)之后，研發(fā)團隊再從業(yè)務(wù)干擾、軟件堆棧、分布式鎖等方面進(jìn)行優(yōu)化，最終達到了最初設計的性能目標。”

　　經(jīng)過(guò)華為研發(fā)團隊優(yōu)化、落地、再優(yōu)化的螺旋上升式改進(jìn)，FusionStorage 8.0打通了性能的任督二脈，對于服務(wù)器硬件、網(wǎng)絡(luò )等方面的控制越來(lái)越精準，實(shí)現了單節點(diǎn)16.8萬(wàn)IOPS的穩定性。

　　隨著(zhù)FusionStorage 8.0性能不斷提升，華為存儲研發(fā)團隊又遇到了一個(gè)大挑戰：在高性能、大并發(fā)的數據讀寫(xiě)情況下如何保持數據一致性。

　　一直以來(lái)，確保數據可靠和一致是存儲產(chǎn)品的生命線(xiàn)。“在存儲產(chǎn)品中，數據一致是核心中的核心。如果寫(xiě)進(jìn)去的數據和讀出來(lái)的數據不一樣，那將對用戶(hù)的業(yè)務(wù)產(chǎn)生巨大影響。”曹長(cháng)斌表示。與傳統存儲不同，分布式存儲產(chǎn)品由于采用了普通的服務(wù)器硬件，必須采用不一樣的實(shí)現數據可靠和一致的方法；并且隨著(zhù)集群節點(diǎn)的不斷擴展，分布式存儲系統的復雜性隨之提高，對于數據一致性也帶來(lái)更大的挑戰。

　　在FusionStorage 8.0的性能調優(yōu)期間，華為存儲研發(fā)團隊就遇到了較多數據不一致的情況。“當時(shí)為了提升性能，有些數據不一定馬上寫(xiě)到盤(pán)中，而是寫(xiě)入內存，之前一些并發(fā)機制導致了老數據把新數據覆蓋了，出現數據不一致的情況。”經(jīng)過(guò)將近一個(gè)月時(shí)間的反復研究，華為存儲研發(fā)團隊決定設計和開(kāi)發(fā)出一套新的日志機制與工具來(lái)解決數據不一致難題。“通過(guò)新的日志機制，在數據訪(fǎng)問(wèn)入口和數據落盤(pán)前的出口，進(jìn)行關(guān)鍵信息的打印，加上CRC校驗，來(lái)發(fā)現和解決數據不一致性的問(wèn)題。”曹長(cháng)斌表示，“通過(guò)對IO通道從頭到尾的追蹤，可以具體定位到整個(gè)IO通道哪個(gè)模塊、具體模塊中哪個(gè)具體函數導致的數據不一致，層層推進(jìn)來(lái)解決問(wèn)題。”

　　在解決數據不一致性的過(guò)程中，華為存儲研發(fā)團隊面臨最大的困難就是：在高性能、大并發(fā)的讀寫(xiě)數據中去尋找哪個(gè)IO導致的數據不一致。“數據不一致之所以是存儲業(yè)界最難最大的挑戰，就是因為存在巨大的不確定性。在海量數據中去追蹤和查看IO異常，就像是大海撈針。”曹長(cháng)斌回憶當時(shí)的場(chǎng)景依然歷歷在目，“整個(gè)團隊在那段時(shí)間經(jīng)常需要倒班，以跨夜、跨周的方式去跟蹤和查看一個(gè)IO異常。”

　　最終，華為存儲研發(fā)團隊完成FusionStorage 8.0在上百個(gè)節點(diǎn)、幾百個(gè)節點(diǎn)、上千個(gè)節點(diǎn)等不同場(chǎng)景下的數據不一致情況的檢驗，解決了將近30個(gè)業(yè)務(wù)IO異常的問(wèn)題，完美地鑄就了FusionStorage 8.0強大的生命線(xiàn)。

　　當解決好FusionStorage 8.0性能、數據一致性等挑戰的同時(shí)，華為存儲研發(fā)團隊又聚焦到如何解決性能與功能的平衡難題上。如果用一個(gè)比喻來(lái)形容性能與功能之間的關(guān)系，那么魚(yú)和熊掌不可兼得就是最真實(shí)的寫(xiě)照。比如，重復數據刪除和壓縮功能已經(jīng)誕生多時(shí)，但是業(yè)界依然沒(méi)有在分布式存儲上對重刪壓縮功能與存儲性能之間做好平衡。

　　“重刪壓縮功能其實(shí)是IO通道上的一個(gè)動(dòng)作，對于存儲性能影響很大。像在線(xiàn)重刪，對于分布式存儲的性能要求很高，而離線(xiàn)重刪則對存儲產(chǎn)品中的存儲介質(zhì)壽命有著(zhù)影響。”曹長(cháng)斌表示。

　　為此，華為存儲研發(fā)團隊在FusionStorage 8.0中研發(fā)出一項在線(xiàn)和離線(xiàn)自適應的重刪壓縮功能，根據存儲系統的CPU、內存、存儲介質(zhì)等資源狀況，通過(guò)加權算法來(lái)實(shí)現重刪功能的自適應調整。“團隊在開(kāi)發(fā)這套加權算法時(shí)前后花費了將近兩個(gè)月時(shí)間，通過(guò)反復的理論推導和調整，讓FusionStorage 8.0的重刪壓縮功能可以與性能之間完美平衡。”據悉，在高負載情況下，業(yè)界的重刪壓縮功能打開(kāi)對性能影響可達到30%-50%；而FusionStorage 8.0重刪壓縮功能的自適應機制則可以將對主機性能的影響降到15%以?xún)龋�一旦達到15%就自動(dòng)切換到后端重刪。

　　在海量數據成為常態(tài)的情況下，分布式存儲的數據可用性也變得至關(guān)重要。分布式存儲中的冗余功能可以提升數據可靠性和存儲系統的可用性。通常，業(yè)界采用多副本或者糾刪碼功能（Erasure Coding，簡(jiǎn)稱(chēng)EC）來(lái)實(shí)現數據冗余。相比于多副本對存儲空間的巨大消耗，糾刪碼技術(shù)可以在更小的存儲空間實(shí)現更優(yōu)的容錯和安全性，但是對于存儲系統的性能也有著(zhù)較大影響。因此，分布式存儲中的糾刪碼功能如何做到存儲空間利用率與性能二者兼得就成為業(yè)界的難題。

　　“EC功能有兩大難題，一個(gè)是打開(kāi)功能之后對主機性能的影響，有些存儲產(chǎn)品在該項功能打開(kāi)之后對主機性能影響可以達到30%左右；另外一個(gè)就是，如何做到大比例的EC。”曹長(cháng)斌表示。為此，華為存儲研發(fā)團隊設計出多套模型和備選方案來(lái)降低EC功能對主機性能的影響，經(jīng)過(guò)多次驗證之后，華為智能增強EC功能實(shí)現了性能和容量的完美平衡。

　　“在高并發(fā)和高負載的情況下，智能增強EC功能通過(guò)IO聚合，并利用存儲盤(pán)的特質(zhì)，將隨機讀寫(xiě)改成順序讀寫(xiě)，來(lái)解決性能問(wèn)題。另外，對于大比例EC，我們采用了追加寫(xiě)的方式，這意味著(zhù)修改某個(gè)數據時(shí)，不需要讀老數據和校驗，從而大幅降低對性能的影響。”

　　存儲多年以來(lái)一直被人所詬病的就是復雜性，容量怎么規劃和分配、QoS優(yōu)先級如何劃分、資源利用情況如何、何時(shí)進(jìn)行擴容、故障如何發(fā)現和處理等等，這一系列問(wèn)題會(huì )牽扯到用戶(hù)大量的精力和時(shí)間。如何讓存儲智能起來(lái)，這是存儲未來(lái)的發(fā)展趨勢，也是FusionStorage 8.0正在全力前進(jìn)的方向。

　　存儲智能化是智能時(shí)代下用戶(hù)的必然訴求。為此，華為率先在FusionStorage 8.0中將人工智能技術(shù)融入到存儲全生命周期管理，從資源規劃、業(yè)務(wù)發(fā)放、系統調優(yōu)、風(fēng)險預測、故障定位等方面實(shí)現智能運維管理。

　　根據華為介紹，FusionStorage 8.0在存儲資源規劃方面可以對性能容量趨勢進(jìn)行60天預判；還擁有超過(guò)1000個(gè)應用模板，實(shí)現一鍵式的資源發(fā)放；并且可以進(jìn)行個(gè)性化調優(yōu)，100%滿(mǎn)足SLA訴求；超過(guò)2000個(gè)故障模式庫，93%的問(wèn)題發(fā)現即可給出方案。

　　事實(shí)上，存儲是一個(gè)利用人工智能技術(shù)非常理想的環(huán)境，擁有豐富的狀態(tài)數據和信息，以及固定的業(yè)務(wù)場(chǎng)景，很容易形成收集狀態(tài)數據、機器學(xué)習和訓練、預測預報、智能決策的閉環(huán)，通過(guò)不斷的學(xué)習和訓練，讓存儲的運維和管理愈發(fā)智能。

　　FusionStorage 8.0在智能化方面的突破還在于采用云上訓練+本地訓練的方式，云上擁有超過(guò)2PB的特征數據和1000個(gè)場(chǎng)景，通過(guò)云上和云下結合和協(xié)同，可以實(shí)現本地的增強訓練和提升個(gè)性化體驗。

　　“我們在新產(chǎn)品中需要盡一切可能防止數據丟失，進(jìn)一步提升數據可靠性。”

　　事實(shí)上，在數字化時(shí)代下，數據已經(jīng)成為一種生產(chǎn)資料，數據正在成為企業(yè)與組織機構賴(lài)以生存的基礎資源。并且，相比于信息化時(shí)代，用戶(hù)在數字化時(shí)代下需要面臨的數據類(lèi)型更加豐富、應用場(chǎng)景更加復雜化。比如，物聯(lián)網(wǎng)應用場(chǎng)景開(kāi)始逐漸豐富，業(yè)務(wù)與云之間的聯(lián)系日漸頻繁，這也導致數據丟失的潛在因素正在變多。

　　為此，華為的思路在于針對各種數據丟失時(shí)間的原因和背景進(jìn)行深入分析，并且提煉和總結出相應的場(chǎng)景可靠性方案，從根源上提供數據防丟失的保障。但是，新問(wèn)題又出現了：如何在保存可靠性校驗的有限空間中容納這些場(chǎng)景的可靠性方案。

　　“這的確是一個(gè)非常具有挑戰性的難題。華為在FusionStorage 8.0中已經(jīng)包含了能夠支撐30多種數據丟失場(chǎng)景的可靠性方案，但是可靠性校驗的空間只有64個(gè)字節。要充分利用64個(gè)字節去容納30多個(gè)場(chǎng)景的預防方案，極具難度。”曹長(cháng)斌如是說(shuō)。整個(gè)過(guò)程就猶如一場(chǎng)精確無(wú)比的手術(shù)，研發(fā)人員將每一個(gè)預防方案“植入”到極為可靠性交易空間中，精確到每個(gè)比特位。

　　更加難得的是，數據丟失場(chǎng)景并不是一次性收集完，它是一個(gè)持續增加的過(guò)程，研發(fā)團隊在可靠性校驗空間中每增加一個(gè)預防方案都需要在確保方案可行的前提下，盡可能地節省空間。曹長(cháng)斌直言：“這是一個(gè)無(wú)比精細化的處理過(guò)程。前前后后調整四、五次之后，整個(gè)數據防丟失的預防方案實(shí)現了完美存儲到可靠性校驗空間中。”

　　“我們希望在FusionStorage 8.0中做出業(yè)界競爭對手沒(méi)有的東西，形成自己的差異化優(yōu)勢。”作為華為存儲研發(fā)的一名老兵，曹長(cháng)斌見(jiàn)證和參與了FusionStorage從1.0到8.0的全過(guò)程。

　　眾所周知，存儲是一個(gè)技術(shù)門(mén)檻較高、相對封閉的領(lǐng)域，國外存儲巨頭常年處于領(lǐng)先的位置，中國本土存儲品牌多年以來(lái)一直處于跟隨者的角色。曹長(cháng)斌對此深有感觸：“在過(guò)去，競爭對手做什么，我們就跟著(zhù)做什么，采用的是‘Me too， but cheaper’的策略；之后隨著(zhù)自身不斷成長(cháng)，在技術(shù)層面迎頭趕上，則變成了‘Me too， but Better’。現在則是去尋求開(kāi)發(fā)出別人沒(méi)有的功能和技術(shù)，確定自身的差異化優(yōu)勢。”

　　除此之外，華為在容災、備份一體化方案方面進(jìn)行了創(chuàng )新，并且利用自身在通信網(wǎng)絡(luò )領(lǐng)域的深厚積累，構建存儲+智能AI網(wǎng)絡(luò )的一體化解決方案，大幅提升自身的競爭力。

　　“FusionStorage 8.0的成功研發(fā)，背后是整個(gè)公司傾注的大量心血，不僅僅是公司的成就，也是對包括我在內的廣泛研發(fā)團隊成員個(gè)人能力的提升。為此，我感到無(wú)比驕傲。”曹長(cháng)斌最后表示道。

　　華為FusionStorage誕生于2012年，源自于“用普通服務(wù)器硬件去構建出企業(yè)級存儲系統”這個(gè)想法。一路走來(lái)，FusionStorage從1.0成長(cháng)到8.0，是華為存儲人堅持不懈和精益求精的精神，也是華為存儲人解決一個(gè)個(gè)業(yè)界難題、逐步實(shí)現當初想法的過(guò)程，更是中國分布式存儲從無(wú)到有、從弱到強的真實(shí)寫(xiě)照。

　　未來(lái)，隨著(zhù)5G、物聯(lián)網(wǎng)、人工智能等應用的興起，一個(gè)更加豐富、更加智能的新數據時(shí)代也將到來(lái)。華為FusionStorage 8.0不僅讓One Data Center One Storage（一個(gè)數據中心一套存儲）在新數據時(shí)代走向落地，也將開(kāi)啟華為智能數據戰略嶄新的一頁(yè)。