前言:為了準確描述中國大數據市場(chǎng)和技術(shù)發(fā)展趨勢,解析大數據發(fā)展的各階段對IT技術(shù)的需求,2013年6月,中橋調研咨詢(xún)(以下簡(jiǎn)稱(chēng)中橋)對中國480家最終用戶(hù)的IT管理者和專(zhuān)業(yè)人員,就大數據市場(chǎng)和技術(shù)發(fā)展趨勢展開(kāi)了調查。中橋首席分析師王叢結合其在歐美數據中心領(lǐng)域十幾年的市場(chǎng)調研積累,對中國大數據市場(chǎng)趨勢的調查數據進(jìn)行解析,以詮釋中國大數據市場(chǎng)和技術(shù)趨勢。同時(shí),會(huì )通過(guò)在線(xiàn)講座(www.webinars-china.com )和中國讀者解讀中國大數據市場(chǎng)趨勢,以及大數據對IT技術(shù)、架構、管理以及格局的影響。中橋結合中國大數據市場(chǎng)的調研數據和分析,將分成四個(gè)系列對“中國大數據價(jià)值和趨勢”進(jìn)行解讀。
在之前的系列1和2中,中橋就大數據分析的發(fā)展趨勢以及對IT資源的需求進(jìn)行了解析。接下來(lái),針對大數據分析的重要一環(huán)—存儲,中橋將結合市場(chǎng)熱門(mén)的存儲技術(shù)如閃存、固態(tài)盤(pán)等,來(lái)從存儲性能、數據保護等角度進(jìn)行分析。
通過(guò)前文的相關(guān)數據分析,我們已經(jīng)了解到,隨著(zhù)大數據時(shí)代應用數量、應用數據量和使用者數量的增長(cháng),系統對存儲IOPS以及OLTP和OLAP的要求越來(lái)越高。傳統存儲也越來(lái)越無(wú)法滿(mǎn)足業(yè)務(wù)關(guān)鍵應用的性能需求,這驅動(dòng)了中國企業(yè)未來(lái)24個(gè)月新存儲的部署。而固態(tài)盤(pán)、閃存技術(shù)作為新型存儲,已經(jīng)得到越來(lái)越多的企業(yè)的青睞。中橋的調查數據也驗證了這一點(diǎn)。企業(yè)采用固態(tài)盤(pán)或閃存技術(shù)的主要原因排列如下:提高桌面虛擬化的性能、提高OLAP性能需求、滿(mǎn)足業(yè)務(wù)關(guān)鍵應用性能和低延遲要求、提高虛機密度應用性能等。而桌面虛擬化、OLAP高要求、業(yè)務(wù)關(guān)鍵應用、低延遲以及高虛擬機密度也正是大數據時(shí)代的典型特點(diǎn)。
圖1. 選擇固態(tài)盤(pán)或閃存技術(shù)的主要原因(來(lái)源:中橋國際調研咨詢(xún)的調查報告)
那么對于中國企業(yè)而言,所選擇的新型存儲技術(shù)應該以什么樣的指標來(lái)權衡,才能確保整個(gè)大數據分析流程平穩、高效運行?中橋對企業(yè)的調查結果顯示(圖2),存儲高可擴展性、高可用性和并行處理能力是企業(yè)評估大數據存儲最重要的三個(gè)因素。高可擴展性可以確保企業(yè)的IT能夠隨著(zhù)數據量的增長(cháng)和性能需求進(jìn)行擴展,以滿(mǎn)足海量數據的存儲和處理需求;高可用性則能夠保證大數據分析過(guò)程的平穩、無(wú)間斷運行,確保了業(yè)務(wù)連續性;高并行處理能力則能夠確保在大數據處理過(guò)程中同時(shí)進(jìn)行更多數據的處理,高效地完成數據分析,從而將分析結果轉化為業(yè)務(wù)決策,加快產(chǎn)品或技術(shù)的面市周期。此外,低延遲、自動(dòng)分層存儲以及10GbE支持等也是用戶(hù)評估大數據存儲的重要考核因素。
圖2 . 評估數據分析存儲技術(shù)的重要指標來(lái)源:中橋國際調研咨詢(xún)的調查報告
我們再換一個(gè)角度來(lái)繼續解讀一下存儲。眾所周知,不同類(lèi)型的數據,其生命周期也是不同的,而根據數據類(lèi)型和生命周期來(lái)進(jìn)行存儲資源分配,則能夠有效提高存儲利用率,這對于大數據的存儲開(kāi)支非常關(guān)鍵。此外,數據的有效管理也決定著(zhù)生產(chǎn)應用的性能。中橋調查結果顯示(圖3),大量中國用戶(hù)所采用的數據庫面臨著(zhù)性能壓力(84.4%),且沒(méi)能有效地進(jìn)行數據的歸檔和清理,其中,24.6%的受訪(fǎng)企業(yè)甚至不進(jìn)行數據歸檔和清理,還有高達34.9%的受訪(fǎng)企業(yè)采取手動(dòng)方式來(lái)進(jìn)行數據歸檔和清理。將非活躍數據從主存儲資源上清理出來(lái),并根據數據類(lèi)型和生命周期進(jìn)行分層存儲和歸檔,盡可能提高存儲利用率的同時(shí),還能夠確保生產(chǎn)應用性能的穩定性,為數據分析提供所需的性能,有效降低主存儲開(kāi)支,延緩存儲采購周期。
圖3. 數據的歸檔和清理來(lái)源:中橋國際調研咨詢(xún)的調查報告
在大數據時(shí)代,海量數據給企業(yè)帶來(lái)的不僅僅是系統性能和存儲難題,數據保護也是企業(yè)的一大焦點(diǎn)。中橋調研結果顯示(圖4),用戶(hù)就面臨的數據保護挑戰排列如下:“數據備份影響業(yè)務(wù)性能”(25.1%)、“數據保護網(wǎng)絡(luò )帶寬需求大”(20.7%)、“分級存儲讀寫(xiě)性能不能滿(mǎn)足要求”(19.3%)。這表明,在大數據時(shí)代,海量數據的備份和保護以及分級存儲,將對業(yè)務(wù)性能帶來(lái)很大影響,包括對網(wǎng)絡(luò )帶寬的影響。這也從側面再一次表明數據的分級存儲對企業(yè)的重要性。
圖4大數據數據保護的最大挑戰來(lái)源:中橋國際調研咨詢(xún)的調查報告
數據是大數據時(shí)代通過(guò)IT創(chuàng )造價(jià)值的“種子”。在大數據分析的四個(gè)重要環(huán)節中——數據采集和存儲、數據清理和整合、數據分析、分析呈現——滿(mǎn)足大數據演進(jìn)過(guò)程中對容量、性能和業(yè)務(wù)連續性的需求,提升資源利用率降低存儲開(kāi)支,不僅能保護好大數據這個(gè)“種子”,也是選擇大數據存儲的重要考慮因素。