中信銀行信用卡中心于2017年開(kāi)始啟動(dòng)分布式新核心系統建設，目標是擴展業(yè)務(wù)范疇、完善經(jīng)營(yíng)模式、提升活躍客戶(hù)量、提升業(yè)務(wù)交易量。要求核心系統具備架構的前瞻性，構建資源可擴展的開(kāi)放平臺，能夠快速響應業(yè)務(wù)大規模增長(cháng)，實(shí)現面向決策的核心信用卡系統。
中信銀行卡中心新核心系統于2019年10月27號正式開(kāi)業(yè)。采用中信銀行與中興通訊聯(lián)合研發(fā)的分布式數據庫GoldenDB來(lái)承載核心業(yè)務(wù)系統，該數據庫是國內第一家在大型股份制銀行信用卡核心系統成功落地的國產(chǎn)分布式數據庫。
GoldenDB分布式數據庫
GoldenDB主要由4個(gè)功能模塊節點(diǎn)構成：
- 計算節點(diǎn)：與業(yè)務(wù)通過(guò)標準JDBC連接，主要用于解析業(yè)務(wù)SQL請求，分布式優(yōu)化，分布式路由以及分布式事務(wù)控制。
- 數據節點(diǎn)：由數據庫實(shí)例構成，用于承載業(yè)務(wù)數據，支持橫向水平擴展，多數據副本保證數據安全可靠。
- 全局事務(wù)管理節點(diǎn)：負責分布式事務(wù)生命周期的管理，與計算節點(diǎn)一起進(jìn)行分布式事務(wù)控制。
- 管理節點(diǎn)：對集群進(jìn)行管理，負責系統集群的高可用，管理系統元數據。同時(shí)對備份恢復、主備切換、監控分析都提供了可視化的操作界面。
GoldenDB產(chǎn)品架構圖
中信銀行核心數據庫應用實(shí)踐
中信銀行信用卡核心系統，主要包括授權、賬務(wù)、數據服務(wù)等三塊業(yè)務(wù)系統。每種業(yè)務(wù)場(chǎng)景不一樣，性能要求也不一樣，分布式優(yōu)化方案也各有側重點(diǎn)。另外，如何保證在盡可能短的時(shí)間內，順利正確地完成數據遷移也是非常重要的。
核心分布式數據庫部署
核心系統的三個(gè)業(yè)務(wù)內部的故障不能相互感染。因此，在設計業(yè)務(wù)連接實(shí)例時(shí)，把業(yè)務(wù)連接的計算節點(diǎn)進(jìn)行物理隔離，杜絕業(yè)務(wù)故障的傳染性。且業(yè)務(wù)系統要求的隔離級別和運行模式也不一樣，在集群配置上也能做到統一管理，靈活多變，方便后期運維管理。
在底層數據節點(diǎn)，配置的X86服務(wù)器性能很高，從成本和可用性上考慮，一個(gè)數據服務(wù)器中部署了兩個(gè)數據庫實(shí)例，不同服務(wù)器之間做交叉主備，同時(shí)主備機磁盤(pán)也相互獨立。保障單機內主備機磁盤(pán)IO隔離，單機異常也不會(huì )影響系統可用性。
中信銀行核心業(yè)務(wù)系統架構圖
核心業(yè)務(wù)分布式設計應用實(shí)踐
卡中心核心業(yè)務(wù)中最重要的業(yè)務(wù)是授權聯(lián)機交易業(yè)務(wù)，對時(shí)延非常敏感，以快捷支付業(yè)務(wù)為例，單筆業(yè)務(wù)30多條SQL語(yǔ)句，時(shí)延必須小于40ms。因此，替換分布式數據庫后，必須消除分布式帶來(lái)入侵性并提供穩定的高性能服務(wù)。
中信銀行信用卡新核心分布式設計
首先，在數據模型方面，所有業(yè)務(wù)表按照客戶(hù)號進(jìn)行拆分。大表先分表再分區，減少單分片上的壓力。常用的小表加載到Redis上，減少網(wǎng)絡(luò )消耗的同時(shí)，提升數據查詢(xún)性能。
其次，梳理交易場(chǎng)景，對業(yè)務(wù)進(jìn)行分布式優(yōu)化。優(yōu)化后的交易，GoldenDB僅作簡(jiǎn)單路由，業(yè)務(wù)語(yǔ)句直接下推到DB層執行，減少分布式事務(wù)開(kāi)銷(xiāo)，提升業(yè)務(wù)響應時(shí)間。
最后，增加業(yè)務(wù)映射表，減少業(yè)務(wù)層的復雜性。在核心系統內添加客戶(hù)號映射表，業(yè)務(wù)中只需增加獲取客戶(hù)號的流程，即可方便的拿到客戶(hù)號，這樣后續業(yè)務(wù)中的事務(wù)控制就可直接下推到數據庫底層DB節點(diǎn)完成，業(yè)務(wù)層不必關(guān)注事務(wù)控制邏輯。
最終性能壓測達到1.8W TPS達到上線(xiàn)標準，穩定通過(guò)網(wǎng)聯(lián)4500TPS壓測，以及雙11和雙12實(shí)際考驗。
核心批處理業(yè)務(wù)分布式應用實(shí)踐
批處理業(yè)務(wù)的特點(diǎn)就是在一定時(shí)間窗口內，集中處理一批數據文件。這個(gè)期間內業(yè)務(wù)會(huì )調起大量的并發(fā)，在短時(shí)間內完成跑批作業(yè)，對于分布式系統來(lái)說(shuō)，如何做好跑批作業(yè)的分布式優(yōu)化也是難點(diǎn)。
如按照原有邏輯批量處理業(yè)務(wù)，業(yè)務(wù)統一按照分布式業(yè)務(wù)場(chǎng)景處理，部分業(yè)務(wù)場(chǎng)景未優(yōu)化，并行度不高，我們對業(yè)務(wù)進(jìn)行了分布式和非分布式業(yè)務(wù)場(chǎng)景的識別，優(yōu)化邏輯處理流程。梳理出可分布式改造的業(yè)務(wù)場(chǎng)景，數據文件先導入到的分片表中，然后對一個(gè)分片內的數據進(jìn)行批量操作，所有分片并行處理，提升并行度，縮短了處理時(shí)間。
業(yè)務(wù)劃分后，從系統穩定性角度出發(fā)，再梳理批處理業(yè)務(wù)邏輯，按照業(yè)務(wù)場(chǎng)景并行處理批處理作業(yè)。提升業(yè)務(wù)的并發(fā)度，降低系統資源壓力。
最終核心日終批處理性能提升1倍，處理時(shí)長(cháng)優(yōu)化到1.5小時(shí)以?xún)取?/div>
核心數據遷移應用實(shí)踐
數據遷移作為卡中心核心系統下移關(guān)鍵一步，整個(gè)遷移要在很短的窗口期內完成，業(yè)務(wù)會(huì )以數十萬(wàn)的并發(fā)來(lái)加快遷移過(guò)程，大量遷移數據會(huì )使得網(wǎng)絡(luò )長(cháng)期維持在高負荷的狀態(tài)。要求數據庫能夠在高并發(fā)、重負載的業(yè)務(wù)場(chǎng)景下，提供穩定可靠的數據服務(wù)。
中信銀行信用卡新核心數據遷移流程
數據遷移的主要流程：外圍系統數據文件通過(guò)文件傳輸平臺落到共享存儲上，舊核心的DB2數據文件通過(guò)FTP下載到Hadoop集群，通過(guò)調用MCO轉碼工具轉碼后，生成標準的數據文件落到HDFS上。遷移工程運行在容器云中，通過(guò)生成insert語(yǔ)句和調用遷移工具兩種方式將兩部分數據遷移到GoldenDB內：
在整個(gè)遷移過(guò)程中，采用了如下方案確保數據遷移的效率：
- 優(yōu)化業(yè)務(wù)邏輯。在高并發(fā)場(chǎng)景下，合理使用索引，調整業(yè)務(wù)邏輯順序，最大程度減少鎖沖突問(wèn)題。
- 優(yōu)化數據庫參數。使得數據庫在遷移階段具備一定的容錯能力，如適當調大鎖等待時(shí)間，將切換閾值調高，容忍系統心跳延遲等。
整個(gè)核心業(yè)務(wù)投產(chǎn)數據遷移期間，最大活躍連接數達到24萬(wàn)，網(wǎng)絡(luò )流量峰值達到900MB/s。在這種極端的業(yè)務(wù)場(chǎng)景下，歷經(jīng)了數十次的演練，順利完成了核心業(yè)務(wù)投產(chǎn)數據遷移工作。
自2014年以來(lái)，中信銀行與中興通訊共同研發(fā)分布式數據庫GoldenDB，穩中求進(jìn)，不斷深入。在冠字號、門(mén)戶(hù)網(wǎng)站、金融同業(yè)平臺、統一零售積分系統、電商管家、開(kāi)放銀行、用戶(hù)權益系統以及信用卡中心核心系統陸續成功投產(chǎn)。
中信銀行信用卡中心分布式核心系統StarCard于2019年10月27日正式開(kāi)業(yè)，支撐1億用戶(hù)，日均交易9000萬(wàn)筆，順利通過(guò)雙十一的業(yè)務(wù)峰值考驗，數據庫性能表現平穩。經(jīng)過(guò)5年的不斷打磨，GoldenDB經(jīng)歷了嚴苛的商用考驗，已經(jīng)具備全面替換銀行交易類(lèi)業(yè)務(wù)數據庫的能力。、中興通訊領(lǐng)導參加了啟動(dòng)儀式。
（原文載于《金融電子化》2020年1月刊，作者：中信銀行 張興強 陳建峰 中興通訊 付裕 戴扶）
【免責聲明】本文僅代表作者本人觀(guān)點(diǎn)，與CTI論壇無(wú)關(guān)。CTI論壇對文中陳述、觀(guān)點(diǎn)判斷保持中立，不對所包含內容的準確性、可靠性或完整性提供任何明示或暗示的保證。請讀者僅作參考，并請自行承擔全部責任。
相關(guān)閱讀：
- ·中興通訊CTO王喜瑜：5G：期待中發(fā)展 質(zhì)疑中生長(cháng)2020-01-20 14:02:39
- ·中興通訊完成超百億元非公開(kāi)發(fā)行A股募資 夯實(shí)5G戰略研發(fā)投入2020-01-17 14:24:16
- ·中興通訊攜手中信銀行獲2019中國國際金融展“金鼎獎”2020-01-16 14:07:37
- ·2020年中興通訊政企云網(wǎng)生態(tài)峰會(huì )自主報名正式啟動(dòng)2020-01-16 13:57:57
- ·中興通訊助四川電信斬獲2019年度多云管理平臺優(yōu)秀案例獎2020-01-14 10:38:30
- ·開(kāi)啟云化時(shí)代，中興通訊助力中國移動(dòng)建設大規模NFV網(wǎng)絡(luò )2020-01-10 09:40:05
- ·中興通訊5G承載方案榮獲NGOF“產(chǎn)業(yè)引領(lǐng)獎”2020-01-09 09:54:28
- ·中興通訊助力天津聯(lián)通打通5G SA外場(chǎng)First call2020-01-06 10:28:50
- ·四川移動(dòng)聯(lián)合中興通訊完成8K VR視頻業(yè)務(wù)現網(wǎng)試點(diǎn)測試2020-01-03 15:50:38
- ·中興通訊董事長(cháng)李自學(xué)：凝心聚力，邁向發(fā)展新征程！2019-12-31 10:49:13
