用友云分析服務近期針對企業(yè)數(shù)據(jù)分析的關(guān)鍵技術(shù)及應用場景等推出了《分析云技術(shù)白皮書》，希望能幫助企業(yè)走出數(shù)據(jù)分析的盲區(qū)，實現(xiàn)數(shù)字經(jīng)濟時代的數(shù)據(jù)化管理與運營。我們將白皮書中的精彩內(nèi)容進行總結(jié)，會分期與大家分享。本期重點分享數(shù)據(jù)分析所面臨的技術(shù)挑戰(zhàn)以及解決之道。如需完整白皮書，可通過文章末尾聯(lián)系方式索取。
企業(yè)數(shù)據(jù)分析應用趨勢
從企業(yè)對大數(shù)據(jù)分析系統(tǒng)的需求和利用的實際情況來看，讓企業(yè)每個業(yè)務人員充分了解和利用他們的數(shù)據(jù)，自由釋放數(shù)據(jù)潛能。基本上，企業(yè)對數(shù)據(jù)的需求我們認為分為三個階段：初級階段，業(yè)務流程通過信息化手段，從紙質(zhì)化改造成電子化，企業(yè)通過數(shù)據(jù)告訴管理者，企業(yè)已經(jīng)發(fā)生了什么？中級階段，企業(yè)已經(jīng)建立和完整的業(yè)務系統(tǒng)，管理者能夠定期從信息中獲取他所關(guān)心的企業(yè)數(shù)據(jù)，知道了企業(yè)正在發(fā)生了什么？高級階段，企業(yè)不僅僅只是希望知道過去發(fā)生了什么以及為什么發(fā)生，還希望進一步預測未來會發(fā)生什么，以及如何做才能最大化優(yōu)化資源配置，取得更好的成果。
數(shù)據(jù)分析技術(shù)面臨的挑戰(zhàn)
在日新月異且喜新厭舊的技術(shù)時代，企業(yè)已經(jīng)認識到“數(shù)據(jù) 開始慢慢變成為了新的 “金子” 或者 “石油”，那么企業(yè)在數(shù)字化轉(zhuǎn)型的浪潮中，如何通過大數(shù)據(jù)、云計算等先進的技術(shù)保駕護航？企業(yè)數(shù)據(jù)量從GB級增長到TB級，應用如何平滑演進？從數(shù)據(jù)倉庫，到數(shù)據(jù)湖、數(shù)據(jù)共享平臺，企業(yè)如何高效利用數(shù)字資產(chǎn)？這些都是企業(yè)在數(shù)字化轉(zhuǎn)型過程中面臨的問題。
我們可以發(fā)現(xiàn)現(xiàn)有的數(shù)據(jù)處理技術(shù)都存在著一定的缺陷。
早期應用的數(shù)據(jù)系統(tǒng)架構(gòu)設(shè)計時，應用直接訪問數(shù)據(jù)庫系統(tǒng)，簡單的存取數(shù)據(jù)就可以滿足業(yè)務需求。但是，當用戶訪問量增加或是數(shù)據(jù)量不斷增大時，從而導致數(shù)據(jù)庫服務器無法及時響應用戶請求，出現(xiàn)超時的錯誤。
當數(shù)據(jù)訪問負載持續(xù)增加時，就需要考慮讀寫分離技術(shù)（Master－Slave）架構(gòu)，以及分庫分表技術(shù)。但讀寫分離和分庫分表帶來了應用層面的復雜性，應用程序需要在設(shè)計開發(fā)階段就考慮到數(shù)據(jù)的拆分。分庫分表后，不僅限制了查詢的靈活性，并且隨著數(shù)據(jù)量繼續(xù)增長到PB級，單個數(shù)據(jù)庫實例的處理能力最終會成為整個系統(tǒng)的性能瓶頸。
當基于分布式存儲計算的大數(shù)據(jù)處理技術(shù)出現(xiàn)后，我們所面對的則是來自離線和在線的多個不同數(shù)據(jù)流，系統(tǒng)需要實時響應數(shù)據(jù)查詢請求，還需要處理分布式系統(tǒng)的分區(qū)和復制問題，以及滿足高容錯、低延時和可擴展的要求，于是就有了lambda架構(gòu)，但其也存在著不足之處：整體架構(gòu)比較復雜，資源開銷比較大，對軟硬件的需求較高；很多分析場景實現(xiàn)困難，增加了應用開發(fā)難度；數(shù)據(jù)流水線較長，系統(tǒng)運維復雜。
通過以上可以發(fā)現(xiàn)，現(xiàn)有的數(shù)據(jù)處理技術(shù)都存在一定缺陷，在面對今天日益復雜的企業(yè)大數(shù)據(jù)分析需求時顯得力不從心，如何采用最新的架構(gòu)技術(shù)來解決這些問題，這也是數(shù)據(jù)分析廠商所必須面對的挑戰(zhàn)。
用友云分析服務的解決之道
經(jīng)過超過10年的技術(shù)積累，用友擁有強大的底層技術(shù)和基礎(chǔ)架構(gòu)，支撐了幾百萬家企業(yè)的信息化發(fā)展。隨著大數(shù)據(jù)云計算技術(shù)的發(fā)展，伴隨著用友客戶們業(yè)務的高速成長，用友數(shù)據(jù)分析產(chǎn)品線也經(jīng)歷著創(chuàng)新和變革。
用友在2016年已經(jīng)將底層數(shù)據(jù)處理技術(shù)全部換到了最先進的分布式計算系統(tǒng)，真正系統(tǒng)自動地進行分布式的調(diào)度。從2017年開始，用友全面轉(zhuǎn)向云戰(zhàn)略，在基礎(chǔ)架構(gòu)技術(shù)的投入加速，用友云分析服務，真正做到高性能高可靠性的分析系統(tǒng)。
用友云分析服務基于最新的大數(shù)據(jù)技術(shù)Kudu，可以在不犧牲可靠性的前提下，大大減少分析系統(tǒng)的復雜性。作為全新的大數(shù)據(jù)平臺，Kudu結(jié)合了OLTP和OLAP系統(tǒng)的優(yōu)點，在單一系統(tǒng)上同時提供高性能的數(shù)據(jù)查詢分析和數(shù)據(jù)更新能力。通過創(chuàng)新架構(gòu)設(shè)計帶來的優(yōu)勢，節(jié)省了不必要的額外系統(tǒng)開支，還可以在企業(yè)期望的價格點上提供實時數(shù)據(jù)分析功能，而無需理解開源產(chǎn)品帶來的架構(gòu)復雜性或綁定特定廠商專有的昂貴軟硬件設(shè)備。
用友云分析服務的架構(gòu)可以分為數(shù)據(jù)采集層、數(shù)據(jù)持久化層、數(shù)據(jù)處理層、數(shù)據(jù)挖掘?qū)印?shù)據(jù)應用層，以及系統(tǒng)運維層。目前用友云分析服務可以支持主流的公有云，資源池化后的私有云，以及物理服務器，針對較新的硬件設(shè)備進行了優(yōu)化，所以要求CPU（或虛擬化層）必須支持SSSE3 和SSE4.2指令集。
數(shù)字化時代的到來使得企業(yè)的決策面臨前所未有的復雜度。企業(yè)數(shù)據(jù)相互連接，不同數(shù)據(jù)都在其中，數(shù)字經(jīng)濟的背后其實是一種決策型經(jīng)濟，誰能夠最快最有效地對數(shù)據(jù)進行分析，最快產(chǎn)生決策，誰就能更快地進行企業(yè)數(shù)字化轉(zhuǎn)型。用友分析云為你提供一個“獨一而二”的全分析服務。
