HDFS（Hadoop Distributed File System）作為通用的分布式文件系統，可以提供高可擴展、低成本、高可靠的海量數據存儲，并廣泛應用于大數據存儲和分析方向。

　　近年來(lái)伴隨5G、物聯(lián)網(wǎng)、人工智能等領(lǐng)域的快速發(fā)展，數據量規模不斷增大，同時(shí)隨著(zhù)大數據應用的多樣化發(fā)展，對數據的利用也更加成熟與深入，更大數據量以及更加靈活的數據處理場(chǎng)景對HDFS的數據存儲與數據讀寫(xiě)吞吐提出了越來(lái)越高的要求。

　　為應對這些挑戰，浪潮著(zhù)力研發(fā)與集成的面向分布式文件系統的智能存儲管理技術(shù)Smart Storage Management（簡(jiǎn)稱(chēng)SSM）應運而生。通過(guò)多項新技術(shù)及特性來(lái)解決存儲場(chǎng)景中的各類(lèi)挑戰，助力大數據產(chǎn)品提供更加高效、智能的存儲解決方案。

　　說(shuō)到疑難挑戰，首先當推基于異構存儲介質(zhì)的數據存儲管理。從硬件平臺來(lái)看， HDFS的設計初衷是基于通用的廉價(jià)硬件提供可靠、高吞吐的數據存儲和訪(fǎng)問(wèn)。但隨著(zhù)硬件的迅速發(fā)展，傳統的磁盤(pán)性能和存儲容量都已達到瓶頸，新硬件如固態(tài)硬盤(pán)、非易失性?xún)却婧蚐MR磁盤(pán)等受到廣泛關(guān)注。

　　目前，HDFS已有的功能和研究雖然可以兼容多類(lèi)型的異構介質(zhì)，實(shí)現對異構存儲介質(zhì)的訪(fǎng)問(wèn)和使用，但沒(méi)有很好的機制讓其智能感知不同設備的I/O特性，并根據數據的訪(fǎng)問(wèn)特征動(dòng)態(tài)改變存儲方式，在異構的環(huán)境下最大程度發(fā)揮各類(lèi)硬件的性能優(yōu)勢。

　　其次則是面向大規模存儲的容量壓力。為了系統的可靠性，傳統HDFS通過(guò)副本策略來(lái)保障數據的安全，通常默認為三副本，但存儲利用率僅為1/3。如果使用糾刪碼（Erasure Code，EC）來(lái)替換副本策略確實(shí)可以提供與副本相同的容錯能力，并使用較少的存儲空間，但在典型的糾刪碼中如果要求存儲額外開(kāi)銷(xiāo)不超過(guò)50%的話(huà)，相應的糾刪碼卻會(huì )占用更多的計算資源，所以當系統面臨存儲壓力時(shí)，用戶(hù)常常希望將不常使用的數據使用糾刪碼存儲，降低存儲壓力。

　　但目前的HDFS技術(shù)僅支持基于目錄的副本到糾刪碼轉換，轉換后業(yè)務(wù)訪(fǎng)問(wèn)文件的路徑將發(fā)生改變，并無(wú)便捷的機制自動(dòng)化進(jìn)行。

　　面向應用負載的自適應存儲挑戰也不容忽視。從上層應用來(lái)看，一方面在大數據Hadoop生態(tài)系統不斷發(fā)展的過(guò)程中，HDFS因其自身的穩定可靠、簡(jiǎn)單易用、擴展性高等優(yōu)點(diǎn)使越來(lái)越多上層應用和系統將其作為統一的底層存儲，其上存儲的數據類(lèi)型和支持的分析負載也越來(lái)越多元化。

　　另一方面，在企業(yè)中不同部門(mén)和用戶(hù)經(jīng)常基于同一份全量數據進(jìn)行查詢(xún)分析，帶來(lái)同一份數據服務(wù)多樣的查詢(xún)負載。在這種應用場(chǎng)景下，基于人工制定策略的存儲優(yōu)化就難以生效，勢必需要提供基于應用負載的自適應優(yōu)化技術(shù)來(lái)應對。

　　面對異構環(huán)境下如何最大程度發(fā)揮各類(lèi)硬件性能優(yōu)勢的難題以及來(lái)自存儲的數據類(lèi)型和支持的分析負載越來(lái)越多元化與應用負載的自適應優(yōu)化等方面的挑戰，智能存儲管理（SSM）提供了智能化的解決方案。

　　概念上，智能存儲管理（SSM）被定義為面向 HDFS的智能管理架構，主要提供針對新型存儲設備、高速網(wǎng)絡(luò )、新計算的存儲優(yōu)化與數據優(yōu)化解決方案，實(shí)現端到端的數據管理服務(wù)，聚焦點(diǎn)可以概括為“兩核心、三場(chǎng)景、四技術(shù)、五特性”。

　　『兩大核心』SSM的核心是基于數據熱度的智能化管理來(lái)實(shí)現自動(dòng)化面向存儲的全生命周期優(yōu)化。在數據熱度方面，典型的應用場(chǎng)景中通常80%的計算工作負載用于處理20%的數據，在動(dòng)態(tài)變化環(huán)境中針對局部數據進(jìn)行優(yōu)化尤其困難。

　　面對該問(wèn)題，SSM通過(guò)收集文件系統操作數據與狀態(tài)信息，利用多項指標分析數據訪(fǎng)問(wèn)模式，從文件級別定義數據熱度，針對熱度信息統籌規劃相應地優(yōu)化數據管理方式。

　　在智能決策方面，SSM建立了基于規則的智能決策體系，圍繞現有的大數據存儲模式智能地構建了實(shí)用的解決方案。未來(lái)，SSM目標將利用歷史數據和指標學(xué)習，從而使系統具有預測數據訪(fǎng)問(wèn)模式與持久學(xué)習能力，實(shí)現穩定可持續的智能化管理。

　　「三種場(chǎng)景」目前SSM在三種典型場(chǎng)景下表現突出，例如多存儲模式。SSM適用于數據存儲模式豐富的應用場(chǎng)景，可以提供更加靈活的存儲模式選擇；在數據優(yōu)化上則提供了小文件合井、數據災備、數據壓縮等新功能，適用于對數據優(yōu)化有需求的應用場(chǎng)景；智能化管理是面向大規模集群的數據管命周期的自動(dòng)化管理。

　　『四項技術(shù)』SSM主要通過(guò)四項技術(shù)實(shí)現智能的存儲管理，主要包括通過(guò)分布式集群自治技術(shù)解決管理服務(wù)的高可用問(wèn)題來(lái)實(shí)現存儲管理集群去中心化；利用分布式事件驅動(dòng)技術(shù)實(shí)現面向高并發(fā)場(chǎng)景的輕量級計算服務(wù)與監督機制，提升管理操作執行效率與容錯性。

　　基于規則的智能存儲管理技術(shù)解決存儲數據量巨大、數據增量高、數據類(lèi)型混雜難以管理的問(wèn)題，實(shí)現數據生命周期的智能化管理；憑借數據熱度感知技術(shù)解決存儲資源利用不均、資源浪費問(wèn)題，實(shí)現數據冷熱分層等。

　　總體來(lái)看，智能存儲管理（SSM），以數據熱度識別及智能化的決策體系為核心，配置面向應用場(chǎng)景的技術(shù)優(yōu)化整體方案（異構存儲增強、糾刪碼增強、小文件合并、自動(dòng)化災備、透明化壓縮），自動(dòng)化智能化的解決HDFS存儲面向異構介質(zhì)、存儲空間及應用負載等方向的挑戰，大大提升HDFS分布式存儲的易用性及適用場(chǎng)景。

　　作為面向海量數據存儲、計算、挖掘的一站式企業(yè)級大數據解決方案，浪潮云海Insight大數據平臺采用新型技術(shù)架構可承擔企業(yè)大規模數據的采集集成、多樣存儲、規模計算以及智能分析挖掘等工作，支撐企業(yè)數據中心業(yè)務(wù)模型快速落地，助力企業(yè)信息化智能轉型。

　　具體來(lái)說(shuō)云海Insight團隊從客戶(hù)需求出發(fā)，結合業(yè)務(wù)場(chǎng)景對智能存儲管理技術(shù)（SSM）進(jìn)行全面的方案驗證及增強，最終在大數據平臺中將智能存儲管理技術(shù)產(chǎn)品化，包括智能存儲的一鍵安裝、可視化運維、基于票據的認證架構等，解決了用戶(hù)針對大數據平臺的備份災備、數據生命周期管理、小文件合并等技術(shù)的訴求，提供了更優(yōu)秀的用戶(hù)體驗。

　　舉個(gè)例子，某客戶(hù)的業(yè)務(wù)場(chǎng)景中，云海Insight團隊將其近兩個(gè)月的訪(fǎng)問(wèn)頻次高的數據定義為熱數據，使用三副本存儲；后四個(gè)月的訪(fǎng)問(wèn)頻次低的數據定義為冷數據，使用糾刪碼存儲。通過(guò)SSM定義數據熱度判定策略以及完成自動(dòng)化的文件及從副本到糾刪碼的轉換，最終總存儲空間節省三分之一，且業(yè)務(wù)無(wú)需任何改變，大大提升了系統的可用性。

　　憑借透明化的數據壓縮、小文件合并以及平臺級自動(dòng)數據備份及遷移等方式可達成業(yè)務(wù)無(wú)感知，全面提升大數據平臺的智能數據管理能力。

　　隨著(zhù)大數據與人工智能的蓬勃發(fā)展，人工智能賦予存儲管理無(wú)限可能，利用智能算法提高大數據的調度和智能管理能力已成為技術(shù)發(fā)展的必然趨勢。未來(lái)，智能存儲管理技術(shù)（SSM）將基于深度學(xué)習優(yōu)化計算框架，浪潮云海Insight也將進(jìn)一步從整體上提升存儲管理的智能化水平，為用戶(hù)提供更優(yōu)秀的解決方案。

　　消息來(lái)源：浪潮信息