圖二
由此可見(jiàn)有效的數據管理,數據庫建立及數據分析流程的重要性。傳統的數據管理的過(guò)程包括抽取(Extraction),轉換(Transformation)和載入(load)。通過(guò) ETL,可以賦予數據一種合適恰當的結構用于特定的分析發(fā)現。具體數據準備分析流程如圖三所示:1)抽取單個(gè)或多個(gè)來(lái)源的數據 。2)凈化,格式化,標準化,聚合,添加,或遵循其他特定的數據處理規則。3)載入處理完的數據到特定的數據庫或儲存為特定的文件格式。4)采用各種方法進(jìn)行數據分析。
圖三
ETL 的中心內容仍舊適用于大數據,但由于大數據的大量性和多樣性對數據庫和數據管理及處理方法的要求越來(lái)越高,也越來(lái)越復雜,這樣線(xiàn)性處理整個(gè)數據變得相當耗費人力,物力,和時(shí)間。
此外,大數據的快速性,易變性也使得把數據儲存在單一的中央數據庫變的不太可行。 在這種情況下,最流行的思路是把數據分割處理,也就是把數據儲存到多個(gè)儲存節點(diǎn)(比如網(wǎng)絡(luò )數據庫),在每個(gè)節點(diǎn)單獨處理數據(甚至處理完就接著(zhù)進(jìn)行初步分析, 但處理的程度依客戶(hù)具體問(wèn)題而調整),然后再匯總整合到一起,提供給單個(gè)或多個(gè)數據庫,接著(zhù)根據需要選擇合適的分析方法獲取有用結果。ETL 貫穿于整個(gè)大數據管理分析的流程中。圖四演示了大致的大數據管理分析流程及一些大數據處理分析平臺工具的名字。
圖四
SAS的數據倉庫研究院(TDWI)針對現今存在的大數據處理分析平臺工具進(jìn)行了一項調查以幫助人們在選擇軟硬件進(jìn)行大數據分析時(shí)能做出更好的決策。針對大數據技術(shù),特點(diǎn),和使用者操作,調查提供了三個(gè)選擇:1)現在使用中,并且會(huì )繼續使用。2)會(huì )在三年中開(kāi)始使用。3)沒(méi)有計劃使用。圖五左側顯示了對于各種大數據分析平臺工具,被調查人員的回復比例。圖五的右側顯示了平臺工具可能的潛在成長(cháng)和對采用此工具做出承諾的被調查人員比例。
圖五
根據潛在成長(cháng)和承諾的綜合考量,此調查還進(jìn)一步把大數據分析平臺, 工具分成4組:第一組為適度的承諾,中度到強的成長(cháng)潛力;第二組為中度至強有力的承諾,適度增長(cháng)潛力;第三組為弱到中度的承諾,適度增長(cháng)潛力;第四組為中度至強有力的承諾,弱增長(cháng)潛力。圖六顯示了這些組別的內容分布。限于篇幅,本文不詳細介紹所列的每一平臺工具的具體內容,感興趣的讀者可以參考文獻獲取更詳細的介紹。