隨著(zhù)互聯(lián)網(wǎng)的不斷擴張和云計算技術(shù)的進(jìn)一步推廣，海量的數據在個(gè)人、企業(yè)、研究機構等源源不斷地產(chǎn)生。這些數據為日常生活提供了便利，信息網(wǎng)站可以推送用戶(hù)定制的新聞，購物網(wǎng)站可以預先提供用戶(hù)想買(mǎi)的物品，人們可以隨時(shí)隨地分享。但是如何有效、快速、可靠地存取這些日益增長(cháng)的海量數據成了關(guān)鍵的問(wèn)題。傳統的存儲解決方案能提供數據的可靠性和絕對的安全性，但是面對海量的數據及其各種不同的需求，傳統的解決方案日益面臨越來(lái)越多的問(wèn)難，比如數據量的指數級增長(cháng)對不斷擴容的存儲空間提出要求，實(shí)時(shí)分析海量的數據對存儲計算能力提出要求。一方面傳統的存儲解決方案正在改變，比如多級存儲來(lái)不斷適應大數據存儲管理系統的特點(diǎn)和要求，另一方面全新的存儲解決方案正日漸成熟，來(lái)有效滿(mǎn)足大數據的發(fā)展需求。
1、大數據定義及其廣泛應用與典型架構
越來(lái)越多的人可以通過(guò)網(wǎng)絡(luò )獲得包括架構（IAAS）、平臺（PAAS）以及軟件（SAAS）等服務(wù)，云計算為終端用戶(hù)提供了便捷而人性化的服務(wù)，大大地降低他們的使用成本，優(yōu)化了用戶(hù)體驗，更拓展了互聯(lián)網(wǎng)企業(yè)自身的營(yíng)收業(yè)務(wù)。例如購物網(wǎng)站通過(guò)記錄每位訪(fǎng)問(wèn)用戶(hù)在其網(wǎng)站上每一次的鼠標點(diǎn)擊操作來(lái)預測用戶(hù)的喜好，并由后臺計算產(chǎn)生相關(guān)產(chǎn)品的購物推薦，提高了廣告產(chǎn)品推廣的針對性同時(shí)也完善了個(gè)人用戶(hù)的購物體驗。隨著(zhù)成千上萬(wàn)的終端用戶(hù)的并行訪(fǎng)問(wèn)，僅用戶(hù)行為的跟蹤就會(huì )產(chǎn)生巨量的數據，這些數據的處理與存儲對于互聯(lián)網(wǎng)企業(yè)的傳統數據倉庫來(lái)說(shuō)帶來(lái)了新的問(wèn)題和挑戰，從而“大數據”的概念應運而生。所謂大數據或稱(chēng)巨量資料、海量資料，指的是所涉及的資料量規模巨大到無(wú)法透過(guò)目前主流軟件工具，在合理時(shí)間內達到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營(yíng)決策更積極目的的資訊。
大數據自誕生以來(lái)其規模也在不斷地發(fā)生改變，從開(kāi)始PB（PETA-BYTE）級別正快速地發(fā)展到EB（EXA-BYTE）級別，大數據規模的不斷快速擴張是因為其廣泛的數據源，這些數據有的正如前面例子所提到的，是每天線(xiàn)上跟蹤用戶(hù)日常行為所產(chǎn)生，或者是網(wǎng)絡(luò )中手機和傳感器數據采集而來(lái)；有的則是企業(yè)自身多年以來(lái)信息積累而成，例如金融行業(yè)歷史數據來(lái)引導未來(lái)的投資方向，又如最大的電子商務(wù)網(wǎng)站淘寶根據其歷史記錄推出的數據魔方服務(wù)產(chǎn)品來(lái)幫助商家指定營(yíng)銷(xiāo)手段；有的是服務(wù)系統日志收集而來(lái)，例如從網(wǎng)絡(luò )服務(wù)器的工作日志或者數據庫El志中提取到。這些各種各樣的數據來(lái)自不同的設備或者應用，其格式也不盡相同，被實(shí)時(shí)或事后采集并保存到大數據存儲管理系統中，根據不同的應用需求被大數據處理系統進(jìn)行離線(xiàn)或實(shí)時(shí)或交互式的處理，之后可能的用途包括：（1）成為最終的數據報表反饋給應用開(kāi)發(fā)人員或數據分析師；（2）成為快速查詢(xún)或者計算的結果反饋給前端應用服務(wù)；（3）成為更新后的數據表格傳送到數據庫中以供查詢(xún)；（4）被壓縮成備份數據存放到大數據存儲集群中。大數據的存儲與處理典型架構（如圖1）已經(jīng)逐漸取代傳統的數據倉庫成為數據中心核心部件，發(fā)揮著(zhù)云計算時(shí)代重要的作用，并且使得數據中心發(fā)生著(zhù)巨大的變化，迎接新的挑戰。
2、大數據存儲與應用的特點(diǎn)分析
“大數據”是由數量巨大、結構復雜、類(lèi)型眾多數據構成的數據集合，是基于云計算的數據處理與應用模式，通過(guò)數據的整合共享，交叉復用形成的智力資源和知識服務(wù)能力。其常見(jiàn)特點(diǎn)可以概括為3V:Volume、Velocity、Variety（規模大、速度快、多樣性）。
大數據具有數據規模大（Volume）且增長(cháng)速度快的特性，其數據規模已經(jīng)從PB級別增長(cháng)到EB級別，并且仍在不斷地根據實(shí)際應用的需求和企業(yè)的再發(fā)展繼續擴容，飛速向著(zhù)ZB（ZETA-BYTE）的規模進(jìn)軍。以國內最大的電子商務(wù)企業(yè)淘寶為例，根據淘寶網(wǎng)的數據顯示，至2011年底，淘寶網(wǎng)最高單日獨立用戶(hù)訪(fǎng)問(wèn)量超過(guò)1.2億人，比2010年同期增長(cháng)120%,注冊用戶(hù)數量超過(guò)4億，在線(xiàn)商品數量達到8億，頁(yè)面瀏覽量達到20億規模，淘寶網(wǎng)每天產(chǎn)生4億條產(chǎn)品信息，每天活躍數據量已經(jīng)超過(guò)50TB.所以大數據的存儲或者處理系統不僅能夠滿(mǎn)足當前數據規模需求，更需要有很強的可擴展性以滿(mǎn)足快速增長(cháng)的需求。
（1）大數據的存儲及處理不僅在于規模之大，更加要求其傳輸及處理的響應速度快（Velocity）。
相對于以往較小規模的數據處理，在數據中心處理大規模數據時(shí)，需要服務(wù)集群有很高的吞吐量才能夠讓巨量的數據在應用開(kāi)發(fā)人員“可接受”的時(shí)間內完成任務(wù)。這不僅是對于各種應用層面的計算性能要求，更加是對大數據存儲管理系統的讀寫(xiě)吞吐量的要求。例如個(gè)人用戶(hù)在網(wǎng)站選購自己感興趣的貨物，網(wǎng)站則根據用戶(hù)的購買(mǎi)或者瀏覽網(wǎng)頁(yè)行為實(shí)時(shí)進(jìn)行相關(guān)廣告的推薦，這需要應用的實(shí)時(shí)反饋；又例如電子商務(wù)網(wǎng)站的數據分析師根據購物者在當季搜索較為熱門(mén)的關(guān)鍵詞，為商家提供推薦的貨物關(guān)鍵字，面對每日上億的訪(fǎng)問(wèn)記錄要求機器學(xué)習算法在幾天內給出較為準確的推薦，否則就丟失了其失效性；更或者是出租車(chē)行駛在城市的道路上，通過(guò)GPS反饋的信息及監控設備實(shí)時(shí)路況信息，大數據處理系統需要不斷地給出較為便捷路徑的選擇。這些都要求大數據的應用層可以最快的速度，最高的帶寬從存儲介質(zhì)中獲得相關(guān)海量的數據。另外一方面，海量數據存儲管理系統與傳統的數據庫管理系統，或者基于磁帶的備份系統之間也在發(fā)生數據交換，雖然這種交換實(shí)時(shí)性不高可以離線(xiàn)完成，但是由于數據規模的龐大，較低的數據傳輸帶寬也會(huì )降低數據傳輸的效率，而造成數據遷移瓶頸。因此大數據的存儲與處理的速度或是帶寬是其性能上的重要指標。
（2）大數據由于其來(lái)源的不同，具有數據多樣性的特點(diǎn)。
所謂多樣性，一是指數據結構化程度，二是指存儲格式，三是存儲介質(zhì)多樣性。對于傳統的數據庫，其存儲的數據都是結構化數據，格式規整，相反大數據來(lái)源于日志、歷史數據、用戶(hù)行為記錄等等，有的是結構化數據，而更多的是半結構化或者非結構化數據，這也正是傳統數據庫存儲技術(shù)無(wú)法適應大數據存儲的重要原因之一。所謂存儲格式，也正是由于其數據來(lái)源不同，應用算法繁多，數據結構化程度不同，其格式也多種多樣。例如有的是以文本文件格式存儲，有的則是網(wǎng)頁(yè)文件，有的是一些被序列化后的比特流文件等等。所謂存儲介質(zhì)多樣性是指硬件的兼容，大數據應用需要滿(mǎn)足不同的響應速度需求，因此其數據管理提倡分層管理機制，例如較為實(shí)時(shí)或者流數據的響應可以直接從內存或者Flash（SSD）中存取，而離線(xiàn)的批處理可以建立在帶有多塊磁盤(pán)的存儲服務(wù)器上，有的可以存放在傳統的SAN或者NAS網(wǎng)絡(luò )存儲設備上，而備份數據甚至可以存放在磁帶機上。因而大數據的存儲或者處理系統必須對多種數據及軟硬件平臺有較好的兼容性來(lái)適應各種應用算法或者數據提取轉換與加載（ETL）。
3、傳統存儲在大數據應用中面臨的挑戰
作為數據存取的載體，大數據存儲管理系統與傳統的存儲系統仍然具有許多相似的特性，例如安全性、可用性、可靠性、可擴性及高效性。
1）安全性（Security）
雖然大數據的存儲訪(fǎng)問(wèn)是位于企業(yè)的數據中心內部，對于外部用戶(hù)已經(jīng)具有防火墻隔離功能，但是對于企業(yè)內部來(lái)說(shuō)不同部門(mén)的數據也并非完全可以共享的，例如人事部門(mén)對于企業(yè)內部工資的管理，或者金融企業(yè)歷史交易數據等。為每一個(gè)部門(mén)建立一個(gè)大數據的存儲管理平臺并不現實(shí)，較為實(shí)用的方法是類(lèi)似于傳統的數據庫訪(fǎng)問(wèn)，所有部門(mén)共享一個(gè)大數據存儲池，通過(guò)添加必要的訪(fǎng)問(wèn)控制來(lái)實(shí)現數據訪(fǎng)問(wèn)的安全性。
2）可用性（Availability）和可靠性（Reliability）
數據的準確性是作為存儲管理系統最為基礎的要求，對于大數據的存儲來(lái)說(shuō)，其準確性的要求可能沒(méi)有傳統數據庫這么高，因為其數據規模龐大可以容忍較少量的數據錯誤，但是數據準確性依然是不能忽視的重要特性。傳統的存儲是通過(guò)冗余備份（例如磁盤(pán)陣列）、定期，強制寫(xiě)人磁盤(pán)、雙控制器來(lái)確保數據的準確性，而在大數據存儲系統中則是通過(guò)其中較為簡(jiǎn)單的多副本（即冗余備份）方式做到容錯的，一般來(lái)說(shuō)同一個(gè)機架上擁有兩份備份在不同的節點(diǎn)上，不同的機架上也有相應的備份，從而達到數據丟失的自動(dòng)還原功能實(shí)現數據的可用性。而為了達到數據備份的一致性，在數據備份創(chuàng )建的過(guò)程中也有相應的備份點(diǎn)及重傳機制作為保障。從技術(shù)方法上來(lái)說(shuō)，兩者是十分相似的，甚至在大數據領(lǐng)域所采用的方法較之傳統的存儲系統技術(shù)更為簡(jiǎn)樸。
3）可擴性（Scalability）
無(wú)論是大數據存儲系統還是傳統的存儲系統，容量規劃都是一個(gè)重要的問(wèn)題，容量規劃一是要滿(mǎn)足現有的存儲空間和帶寬的需求，更重要的是考慮到系統擴張后的容量升級。
4）高效性（Efficiency）
在存儲系統中，通過(guò)對用戶(hù)層透明的壓縮處理來(lái)實(shí)現空間及帶寬利用的有效性提升是一個(gè)普遍的做法，這個(gè)在傳統的存儲系統和大數據系統中都十分重要。尤其是對一些歸檔備份的數據，自動(dòng)的壓縮開(kāi)啟以及不同壓縮算法的提供與選擇就顯得十分實(shí)用。
除了以上的一些共性外，由于大數據的3V特性即Volume、Velocity、Variety（規模大、速度快、多樣性），傳統的數據存儲管理系統面臨著(zhù)更多的挑戰，有些甚至已經(jīng)完全不能滿(mǎn)足大數據的存儲計算的要求，而需要開(kāi)發(fā)新的針對大數據的數據存儲管理平臺，如表1所示。
5）擴容方式
雖然傳統存儲系統和大數據存儲系統都具有可擴性，但是其擴展方式是截然不同的。傳統存儲是縱向擴容（Scale-up）即當存儲容量不夠或者存儲磁盤(pán)帶寬不夠時(shí)，在SAN或者NAS存儲池中繼續添加磁盤(pán)（Hard-drive）來(lái)達到增加容量和帶寬的作用，但是大數據時(shí)代縱向擴容方式是無(wú)法滿(mǎn)足其需求的。首先，大數據的數據規模目前已經(jīng)是EB（EXA-BYTE）級別，將來(lái)甚至會(huì )達到ZB（ZETA-BYTE），這個(gè)數量級別的存儲容量是無(wú)法通過(guò)單純的往網(wǎng)絡(luò )存儲池添加硬盤(pán)來(lái)實(shí)現的。其次，即使可以通過(guò)縱向擴容達到更大數據規模的需求，其高額的硬件及管理軟件成本也是數據存儲管理中心無(wú)法承擔的。因此，對于大數據存儲系統來(lái)說(shuō)橫向擴張才能夠很好的達到巨量數據規模的需求，才能夠實(shí)現存儲系統的按需（ON-DEMAND）動(dòng)態(tài)規模增減。所謂的橫向擴容是指當存儲容量或者帶寬不足以滿(mǎn)足現有要求足時(shí)，添加存儲節點(diǎn)來(lái)達到擴容的目的。在大數據的應用領(lǐng)域，每一個(gè)節點(diǎn)不需要高價(jià)的磁盤(pán)陣列（RAID），相反只需要一定數量的各種類(lèi)型的硬盤(pán)以獨立工作單元方式進(jìn)行管理（即JBOD存儲設備）。根據Google的設想，這些節點(diǎn)甚至可以是一些成本較為低廉的日常用機器（甚至是臺式機）。橫向擴容意味著(zhù)數據管理軟件將要統籌更多的節點(diǎn)，面對更大的壓力。例如如果采用集中式的主節點(diǎn)管理，主節點(diǎn)的能力可能成為整個(gè)大數據存儲系統的性能瓶頸，尤其是當規模的擴大到成千上萬(wàn)個(gè)節點(diǎn)時(shí)，單管理節點(diǎn)的模式是不可靠的；如果采用分布式主節點(diǎn)群管理，軟件的開(kāi)發(fā)成本和系統本身的復雜度相應就會(huì )提高。
6）存儲模式
傳統的存儲系統是依賴(lài)于SAN或者NAS這樣的網(wǎng)絡(luò )存儲模式，這樣的存儲模式存在著(zhù)如上所述縱向擴容瓶頸，更重要的是它們將計算節點(diǎn)與存儲節點(diǎn)分隔開(kāi)，通過(guò)網(wǎng)絡(luò )來(lái)共享一個(gè)或多個(gè)存儲池，最終使得數據的存取速度被限制在網(wǎng)絡(luò )的瓶頸上，即使通過(guò)縱向擴容其存儲池容量和帶寬都得到了提高，最終卻受限于它們與數據處理節點(diǎn)之間的網(wǎng)絡(luò )帶寬上。而對于大數據的處理和存取來(lái)說(shuō)，最終的速度都受制于SAN或者NAS的物理網(wǎng)絡(luò )帶寬，這是遠遠無(wú)法滿(mǎn)足EB級別數據規模的需求的。因為網(wǎng)絡(luò )存儲對于大數據意味著(zhù)當計算發(fā)生時(shí)，PB或者EB級別的數據需要通過(guò)SAN或者NAS的網(wǎng)絡(luò )搬遷到計算節點(diǎn)上進(jìn)行各種應用的處理，然后再將結果返回，而這樣巨量數據的搬遷本身也許比起計算應用更加耗時(shí)。所以目前大數據存儲系統普遍采用的是DAS的方式，并且將計算資源搬遷到數據的存儲節點(diǎn)上發(fā)生，但是簡(jiǎn)單的DAS方式仍然給存儲管理系統的軟件層增加了許多的新問(wèn)題，例如通過(guò)網(wǎng)絡(luò )的跨節點(diǎn)數據訪(fǎng)問(wèn)管理，存儲數據塊的管理等。
7）兼容集成
對于大數據存儲系統的兼容集成特性涉及到若干方面，首先正由大數據的多樣性特點(diǎn)所決定，其存儲系統需要兼容各種種類(lèi)的數據，有結構化、半結構化及非結構化數據，而傳統的數據庫存儲則是管理結構化的關(guān)系型數據，其數據的種類(lèi)比較單一；其次，大數據的存儲需要和各種數據源和數據存儲系統整合集成系統工作，正如之前典型的架構所列舉，其數據交換接口需要兼容各種數據傳輸機制才能夠很好的服務(wù)數據中心的各種需求；再者，大數據計算要對大量的數據提供各種有效服務(wù)，例如有些批處理（Batch.style）數據分析或者機器學(xué)習算法需要處理大量的數據，有些交互式（Interactive-access）的數據訪(fǎng)問(wèn)或者查詢(xún)需要快速返回；有些流式（streaming）計算的及時(shí)運算與響應，這些計算服務(wù)的數據都被存放在統一的大數據存儲系統之上，因為反復的搬遷大規模的數據對于任何大數據應用來(lái)說(shuō)都是降低效率的致命短板，所以基于大數據的存儲系統可以支持各種上層應用的需求，提供統一或者兼容性強的讀寫(xiě)接口；第四，大數據存儲管理系統需要支持各種介質(zhì)的存儲設備來(lái)滿(mǎn)足上層各種應用的需求。例如對于經(jīng)常訪(fǎng)問(wèn)的熱點(diǎn)數據，存儲系統可以從磁盤(pán)讀取數據的同時(shí)將數據緩存存放在內存或者Flash（SSD）中，這要求大數據的存儲系統支持多級緩存操作，并且很好的兼容各種硬件存儲設備。
8）故障維護
相較于傳統存儲系統，大數據的存儲系統成本不僅僅意味著(zhù)花費的多少，更多的涉及到其可用性。當數據管理系統的硬件規模達到成千上萬(wàn)時(shí)，每一個(gè)節點(diǎn)和節點(diǎn)的磁盤(pán)成本就會(huì )被成千上萬(wàn)地擴大，根據Google最初的設想，大數據的處理集群只需要采用低廉的日常用機即可（甚至可以是臺式機），而低廉的存儲設備加上眾多節點(diǎn)使得故障率會(huì )高于一般的傳統存儲系統。因而對于大數據的存儲系統來(lái)說(shuō)，一是需要強大的容錯軟件管理能力，二是需要更加有效的運維系統來(lái)監控各種故障的發(fā)生，尤其是對于大數據存儲系統可能擁有十萬(wàn)級別的硬盤(pán)，磁盤(pán)故障可能每天都會(huì )發(fā)生。
4、大數據存儲方案簡(jiǎn)介
大數據存儲方案隨著(zhù)大數據計算的發(fā)展也已經(jīng)歷時(shí)將近10年，有的已經(jīng)被廣泛應用，有的則是被不斷的完善中，以下列舉若干較為著(zhù)名的大數據存儲方案及其優(yōu)缺點(diǎn)。
1）HDFS
大數據計算最為代表性的就是Google在2004年提出的MapReduce框架和相應的GFS存儲系統。2008年Yahoo的工程師根據MapReduce的框架推出了開(kāi)源的Hadoop[41項目，作為一個(gè)大數據處理典型開(kāi)源實(shí)現，如今Hadoop項目已經(jīng)被廣泛應用于各大互聯(lián)網(wǎng)企業(yè)的數據中心，并且正努力從一個(gè)開(kāi)源項目走向商業(yè)化應用產(chǎn)品，不斷得到完善。而HDFS（Hadoop Distributed File System）就是支持Hadoop計算框架的分布式大數據存儲系統，它具有大數據存儲系統幾項重要特性，具有很高的容錯性、可擴展性、高并發(fā)性，并且基于廉價(jià)存儲服務(wù)器設備，是目前最為流行的大數據存儲系統。但是它還有許多方面需要進(jìn)一步完善，例如目前HDFS自身不能與POSIX文件系統兼容，用戶(hù)需要通過(guò)其自定義的接口對數據進(jìn)行讀寫(xiě)管理，增加了各種數據存儲之間交換的開(kāi)發(fā)成本；又如目前HDFS為了到達高容錯性，在數據中心中推薦及實(shí)際操作的副本數目設置為三，也就意味著(zhù)用戶(hù)的任意一份數據都會(huì )被復制三份保存在存儲系統中，這樣造成存儲系統保存的數據量遠大于實(shí)際用戶(hù)需要的存儲量，相比傳統的RAID存儲空間效率要低很多。
2）Tachyon
來(lái)自于美國加州大學(xué)伯克利分校的AMPLab的Tachyon是一個(gè)高容錯的分布式文件系統，允許文件以?xún)却娴乃俣仍诩嚎蚣苤羞M(jìn)行可靠的共享，其吞吐量要比HDFS高300多倍。Tachyon都是在內存中處理緩存文件，并且讓不同的作業(yè)任務(wù)或查詢(xún)語(yǔ)句以及分布式計算框架都能以?xún)却娴乃俣葋?lái)訪(fǎng)問(wèn)緩存文件。由于Tachyon是建立在內存基礎上的分布式大數據文件系統，所以其高吞吐量也是HDFS不能夠媲美的，當然截止目前Tachyon也只是0.2 alpha發(fā)行版其穩定性和魯棒性還有待檢驗。
3）其他
Quantcast File Syste（QFS）是一個(gè)商陛能、容錯、分布式的開(kāi)源大數據文件系統，其開(kāi)發(fā)是為HDFS提供另一種選擇，但是其讀寫(xiě)性能可以高于HDFS,并能比HDFS節省50%存儲空間。Ceph是基于POSIX的沒(méi)有單點(diǎn)故障的PB級分布式文件系統，從而使得數據能容錯和無(wú)縫的復制，Ceph的客戶(hù)端已經(jīng)合并到Linux內核2.6.34中；GlusterFS是一個(gè)可以橫向擴展的支持PB級的數據量開(kāi)源存儲方案。GlusterFS通過(guò)TCP/IP或者InfiniBand RDMA方式將分布到不同服務(wù)器上的存儲資源匯集成一個(gè)大的網(wǎng)絡(luò )并行文件系統，使用單一全局命名空間管理數據。GIuster存儲服務(wù)支持NFS、CIFS、HTTP、FTP以及Gluster自身協(xié)議，完全與POSIX標準兼容。現有應用程序不需要作任何修改或使用專(zhuān)用API,就可以對Gluster中的數據進(jìn)行訪(fǎng)問(wèn)。
5、小結
存儲管理已然成為大數據研究和應用的核心組件，各種改善人們El常生活、提高企業(yè)運營(yíng)能力的實(shí)際應用都離不開(kāi)數據的存取、分析和管理。本文從定義大數據開(kāi)始，描述了其廣泛應用和典型的架構，著(zhù)重分析了大數據存儲的三個(gè)主要特點(diǎn)（Volume規模大、Velocity速度快、Variety多樣性）以及傳統存儲針對大數據面臨的各種挑戰。最后本文簡(jiǎn)單介紹了幾種較為著(zhù)名的大數據存儲解決方案。無(wú)論是傳統存儲還是大數據存儲，都要不斷適應大數據應用的主要特點(diǎn)和基礎架構，通過(guò)不斷的改進(jìn)和完善來(lái)切實(shí)有效地存取和處理El漸豐富的信息量。
