用友云分析服務(wù)近期針對企業(yè)數據分析的關(guān)鍵技術(shù)及應用場(chǎng)景等推出了《分析云技術(shù)白皮書(shū)》，希望能幫助企業(yè)走出數據分析的盲區，實(shí)現數字經(jīng)濟時(shí)代的數據化管理與運營(yíng)。我們將白皮書(shū)中的精彩內容進(jìn)行總結，會(huì )分期與大家分享。本期重點(diǎn)分享數據分析所面臨的技術(shù)挑戰以及解決之道。如需完整白皮書(shū)，可通過(guò)文章末尾聯(lián)系方式索取。
企業(yè)數據分析應用趨勢
從企業(yè)對大數據分析系統的需求和利用的實(shí)際情況來(lái)看，讓企業(yè)每個(gè)業(yè)務(wù)人員充分了解和利用他們的數據，自由釋放數據潛能。基本上，企業(yè)對數據的需求我們認為分為三個(gè)階段：初級階段，業(yè)務(wù)流程通過(guò)信息化手段，從紙質(zhì)化改造成電子化，企業(yè)通過(guò)數據告訴管理者，企業(yè)已經(jīng)發(fā)生了什么？中級階段，企業(yè)已經(jīng)建立和完整的業(yè)務(wù)系統，管理者能夠定期從信息中獲取他所關(guān)心的企業(yè)數據，知道了企業(yè)正在發(fā)生了什么？高級階段，企業(yè)不僅僅只是希望知道過(guò)去發(fā)生了什么以及為什么發(fā)生，還希望進(jìn)一步預測未來(lái)會(huì )發(fā)生什么，以及如何做才能最大化優(yōu)化資源配置，取得更好的成果。
數據分析技術(shù)面臨的挑戰
在日新月異且喜新厭舊的技術(shù)時(shí)代，企業(yè)已經(jīng)認識到“數據 開(kāi)始慢慢變成為了新的 “金子” 或者 “石油”，那么企業(yè)在數字化轉型的浪潮中，如何通過(guò)大數據、云計算等先進(jìn)的技術(shù)保駕護航？企業(yè)數據量從GB級增長(cháng)到TB級，應用如何平滑演進(jìn)？從數據倉庫，到數據湖、數據共享平臺，企業(yè)如何高效利用數字資產(chǎn)？這些都是企業(yè)在數字化轉型過(guò)程中面臨的問(wèn)題。
我們可以發(fā)現現有的數據處理技術(shù)都存在著(zhù)一定的缺陷。
早期應用的數據系統架構設計時(shí)，應用直接訪(fǎng)問(wèn)數據庫系統，簡(jiǎn)單的存取數據就可以滿(mǎn)足業(yè)務(wù)需求。但是，當用戶(hù)訪(fǎng)問(wèn)量增加或是數據量不斷增大時(shí)，從而導致數據庫服務(wù)器無(wú)法及時(shí)響應用戶(hù)請求，出現超時(shí)的錯誤。
當數據訪(fǎng)問(wèn)負載持續增加時(shí)，就需要考慮讀寫(xiě)分離技術(shù)（Master－Slave）架構，以及分庫分表技術(shù)。但讀寫(xiě)分離和分庫分表帶來(lái)了應用層面的復雜性，應用程序需要在設計開(kāi)發(fā)階段就考慮到數據的拆分。分庫分表后，不僅限制了查詢(xún)的靈活性，并且隨著(zhù)數據量繼續增長(cháng)到PB級，單個(gè)數據庫實(shí)例的處理能力最終會(huì )成為整個(gè)系統的性能瓶頸。
當基于分布式存儲計算的大數據處理技術(shù)出現后，我們所面對的則是來(lái)自離線(xiàn)和在線(xiàn)的多個(gè)不同數據流，系統需要實(shí)時(shí)響應數據查詢(xún)請求，還需要處理分布式系統的分區和復制問(wèn)題，以及滿(mǎn)足高容錯、低延時(shí)和可擴展的要求，于是就有了lambda架構，但其也存在著(zhù)不足之處：整體架構比較復雜，資源開(kāi)銷(xiāo)比較大，對軟硬件的需求較高；很多分析場(chǎng)景實(shí)現困難，增加了應用開(kāi)發(fā)難度；數據流水線(xiàn)較長(cháng)，系統運維復雜。
通過(guò)以上可以發(fā)現，現有的數據處理技術(shù)都存在一定缺陷，在面對今天日益復雜的企業(yè)大數據分析需求時(shí)顯得力不從心，如何采用最新的架構技術(shù)來(lái)解決這些問(wèn)題，這也是數據分析廠(chǎng)商所必須面對的挑戰。
用友云分析服務(wù)的解決之道
經(jīng)過(guò)超過(guò)10年的技術(shù)積累，用友擁有強大的底層技術(shù)和基礎架構，支撐了幾百萬(wàn)家企業(yè)的信息化發(fā)展。隨著(zhù)大數據云計算技術(shù)的發(fā)展，伴隨著(zhù)用友客戶(hù)們業(yè)務(wù)的高速成長(cháng)，用友數據分析產(chǎn)品線(xiàn)也經(jīng)歷著(zhù)創(chuàng )新和變革。
用友在2016年已經(jīng)將底層數據處理技術(shù)全部換到了最先進(jìn)的分布式計算系統，真正系統自動(dòng)地進(jìn)行分布式的調度。從2017年開(kāi)始，用友全面轉向云戰略，在基礎架構技術(shù)的投入加速，用友云分析服務(wù)，真正做到高性能高可靠性的分析系統。
用友云分析服務(wù)基于最新的大數據技術(shù)Kudu，可以在不犧牲可靠性的前提下，大大減少分析系統的復雜性。作為全新的大數據平臺，Kudu結合了OLTP和OLAP系統的優(yōu)點(diǎn)，在單一系統上同時(shí)提供高性能的數據查詢(xún)分析和數據更新能力。通過(guò)創(chuàng )新架構設計帶來(lái)的優(yōu)勢，節省了不必要的額外系統開(kāi)支，還可以在企業(yè)期望的價(jià)格點(diǎn)上提供實(shí)時(shí)數據分析功能，而無(wú)需理解開(kāi)源產(chǎn)品帶來(lái)的架構復雜性或綁定特定廠(chǎng)商專(zhuān)有的昂貴軟硬件設備。
用友云分析服務(wù)的架構可以分為數據采集層、數據持久化層、數據處理層、數據挖掘層、數據應用層，以及系統運維層。目前用友云分析服務(wù)可以支持主流的公有云，資源池化后的私有云，以及物理服務(wù)器，針對較新的硬件設備進(jìn)行了優(yōu)化，所以要求CPU（或虛擬化層）必須支持SSSE3 和SSE4.2指令集。
數字化時(shí)代的到來(lái)使得企業(yè)的決策面臨前所未有的復雜度。企業(yè)數據相互連接，不同數據都在其中，數字經(jīng)濟的背后其實(shí)是一種決策型經(jīng)濟，誰(shuí)能夠最快最有效地對數據進(jìn)行分析，最快產(chǎn)生決策，誰(shuí)就能更快地進(jìn)行企業(yè)數字化轉型。用友分析云為你提供一個(gè)“獨一而二”的全分析服務(wù)。
