分布式數據庫系統是數據庫技術(shù)和網(wǎng)絡(luò )技術(shù)相互滲透和有機結合的成果,在數據庫領(lǐng)域已形成一個(gè)分支。經(jīng)過(guò)多年的發(fā)展,分布式數據庫體系架構已經(jīng)逐漸成熟。
什么樣的數據庫系統才能稱(chēng)得上是一個(gè)分布式系統?分布式系統有兩個(gè)必須滿(mǎn)足的特征。
- 分布性:數據不是存儲在同一臺存儲服務(wù)器上,或者說(shuō),是存儲在多個(gè)獨立的數據庫服務(wù)器中,目前硬件一般采用低成本X86架構的存儲服務(wù)器。
- 邏輯整體性:分布式數據庫系統中的數據是相互關(guān)聯(lián)的,邏輯上是一個(gè)統一的整體,對上層應用來(lái)說(shuō),就像是一個(gè)集中式數據庫系統。
分布式數據庫在實(shí)現數據庫的獨立性、數據共享、數據冗余、并發(fā)控制、完整性、安全性、事務(wù)處理等方面具有更鮮明的特點(diǎn)。
數據庫是金融行業(yè)各業(yè)務(wù)應用的核心系統,數據庫的可用性和擴展性一直是金融行業(yè)最關(guān)注的問(wèn)題。過(guò)去我們采用高端的設備,比如使用小型機和大型存儲來(lái)保證數據庫的可用性。擴展性方面,主要通過(guò)增加CPU、內存、磁盤(pán)等方式提高處理能力。這種集中式數據庫的架構,使得數據庫成為了整個(gè)系統的瓶頸,已經(jīng)越來(lái)越不適應海量數據對計算能力的巨大需求。
金融行業(yè)問(wèn)題及需求
目前,金融行業(yè)絕大多數系統的數據存儲層都采用“IBM小型機+AIX操作系統+DB2/Oracle數據庫+高端存儲陣列”的實(shí)現方式,隨著(zhù)業(yè)務(wù)和技術(shù)的發(fā)展,這種方式逐漸暴露出以下問(wèn)題:
- 棱鏡門(mén)事件后,監管機構從國家信息安全的角度對銀行業(yè)的IT基礎設施提出了開(kāi)源化、國產(chǎn)化、自主掌控的要求,而銀行目前數據存儲層的實(shí)現方式明顯和監管的要求相背離;
- 面對利率市場(chǎng)化的挑戰,銀行業(yè)也面臨著(zhù)日趨嚴重的IT成本控制壓力,而基于現行數據存儲層的實(shí)現方式,每個(gè)系統的數據存儲成本都以數百萬(wàn)計;
- 數據存儲層缺乏良好的可擴展性,難以應對應用層的高并發(fā)數據訪(fǎng)問(wèn),隨著(zhù)數據量的增長(cháng)該問(wèn)題日益突出,在電子銀行渠道體現得愈加明顯;
- 受限于現階段銀行IT實(shí)施商的人員素質(zhì)和代碼管控手段,應用實(shí)施過(guò)程中數據存儲層代碼質(zhì)量普遍不高。
目前很多銀行均啟動(dòng)了大數據平臺的建設,但現在銀行業(yè)務(wù)是建立在關(guān)系型數據上,其交易類(lèi)的應用都是基于OLTP的在線(xiàn)事務(wù)處理,而Hadoop是基于OLAP的在線(xiàn)分析應用,單純依靠Hadoop難以完全替代DB2/Oracle等關(guān)系型數據庫。Hadoop的應用大部分都是作為歷史數據查詢(xún)平臺,即不對數據修改的應用場(chǎng)景,而且OLTP本身也不是Hadoop的發(fā)展方向。所以對于銀行來(lái)說(shuō),以分布式數據庫+Hadoop大數據平臺解決方案來(lái)逐步替代現有關(guān)系型數據庫是最好的選擇。
中興通訊GoldenDB分布式數據庫金融行業(yè)解決方案
中興通訊GoldenDB分布式數據庫平臺通過(guò)無(wú)共享(shared nothing architecture)的架構為銀行各業(yè)務(wù)提供云化的數據庫服務(wù),通過(guò)增加數據庫節點(diǎn)實(shí)現數據庫能力的水平擴展(見(jiàn)圖1)。針對銀行應用,具備如下能力:
- 支持分布式事務(wù),且對應用透明;
- 分布式事務(wù)采用TCC(Try-Confirm-Cancel)柔性事務(wù);
- 具備數據庫的ACID特性(Atomicity,Consistency,Isolatio,Durability),解決分布式事務(wù)的一致性和隔離性問(wèn)題;
- 支持集群的高可用,包括無(wú)單點(diǎn)故障和系統容災;
- 支持數據備份與恢復,且具備數據高一致性;
- 具備節點(diǎn)水平擴展能力;
- 支持數據重分布策略,且能根據業(yè)務(wù)實(shí)際負載情況制定和實(shí)施合適的定制化重分布策略;
- 具備基于規則和代價(jià)的SQL優(yōu)化,支持存儲過(guò)程;
- 對各業(yè)務(wù)透明,在物理層各業(yè)務(wù)隔離。
中興通訊GoldenDB分布式數據庫平臺基于X86服務(wù)器的集群架構,無(wú)單點(diǎn),穩定可靠性;支持讀寫(xiě)分離,提升讀寫(xiě)效率;完全兼容SQL92標準;具有完善的分布式事務(wù)處理機制;系統支持線(xiàn)性擴展。
方案價(jià)值
在云計算、大數據等新技術(shù)帶動(dòng)下,金融行業(yè)普遍面臨著(zhù)互聯(lián)網(wǎng)金融的新技術(shù)、新業(yè)務(wù)挑戰,高可用、高可靠、可擴展的大數據+分布式數據庫解決方案是金融行業(yè)新的技術(shù)選擇,不但有利于金融行業(yè)提升業(yè)務(wù)創(chuàng )新能力和用戶(hù)體驗,同時(shí)增強了自身的技術(shù)儲備,以迎接來(lái)自互聯(lián)網(wǎng)金融的挑戰。
中興通訊分布式數據庫解決方案解決了幾個(gè)關(guān)鍵問(wèn)題:
- 提供了完整的分布式事務(wù)解決方案,保證系統的處理效率、跨節點(diǎn)數據的一致性,具有失敗事務(wù)處理、海量數據的更新及備份、讀寫(xiě)混合事務(wù)、分布式事務(wù)控制、事務(wù)的持久化等關(guān)鍵創(chuàng )新功能點(diǎn);
- 支持標準的SQL語(yǔ)句,實(shí)現與現網(wǎng)應用無(wú)縫對接;
- 運行態(tài)數據重分布解決方案,根據不同的應用場(chǎng)景需求,設計不同的數據分布算法;熱點(diǎn)數據不停機遷移,包括節點(diǎn)內部和跨節點(diǎn),重分布的最小粒度是按表進(jìn)行,而且重分布進(jìn)程可以按需啟停;
- 分布式數據庫各類(lèi)元數據(含各組件配置信息)以及全生命周期的管理,主要包括配查看、更改、實(shí)時(shí)配置下發(fā)和生效、異常處理等環(huán)節;
- 通過(guò)分布式數據庫平臺為銀行業(yè)務(wù)帶來(lái)單機數據庫所無(wú)法提供的數據可擴展性及性能可擴展性,且成本更低;
- 與銀行現有系統有機融合,包括與現有各業(yè)務(wù)系統及數據庫的數據同步、一致的數據備份恢復策略與管理、數據抽取及向大數據平臺的數據復制;
- 實(shí)現分布式數據庫系統內部的數據高可靠、高可用架構:保證任何單一節點(diǎn)的硬件故障不造成數據損壞,不影響分布式數據庫服務(wù)的正常提供;
- 同時(shí)為多個(gè)業(yè)務(wù)系統提供服務(wù),保證多個(gè)業(yè)務(wù)系統間數據隔離、訪(fǎng)問(wèn)隔離、用戶(hù)信息隔離;
- 實(shí)現統一的集中運維管理界面,對常用運維活動(dòng)實(shí)現運維自動(dòng)化,提升運維效率。
中興通訊積極探索自主知識產(chǎn)權的分布式數據庫解決方案,GoldenDB分布式數據庫產(chǎn)品有效解決了傳統關(guān)系型數據庫難以克服的高可用性和擴展性問(wèn)題,且可為客戶(hù)提供定制化的開(kāi)發(fā)和現場(chǎng)服務(wù)。目前,GoldenDB分布式數據庫已經(jīng)在國內某商業(yè)銀行進(jìn)行商用試點(diǎn)。隨著(zhù)分布式數據庫產(chǎn)品的進(jìn)一步成熟應用,其必將成為未來(lái)金融行業(yè)關(guān)系型數據庫的新選擇。