一汽-大眾汽車(chē)有限公司（簡(jiǎn)稱(chēng)一汽-大眾）于1991年成立，是我國第一個(gè)按經(jīng)濟規模起步建設的現代化乘用車(chē)工業(yè)基地，旗下有奧迪、大眾、捷達三大品牌20余款產(chǎn)品，覆蓋A、B、C級全系列乘用車(chē)型。
為了更好地服務(wù)客戶(hù)，一汽-大眾通過(guò)分析客戶(hù)使用習慣及偏好、產(chǎn)品個(gè)性化需求收集等方式，多維度滿(mǎn)足用戶(hù)購車(chē)和體驗需求。
但隨著(zhù)數據挖掘的深入，對BI平臺的要求也越高，為解決報表業(yè)務(wù)系統數據量的快速增長(cháng)、數據匯集、交互分析難等難題，一汽-大眾攜手華為云數據庫在MEP（經(jīng)銷(xiāo)商多功能生態(tài)平臺）-BI平臺項目合作中取得了突破，跨越了挑戰。
實(shí)時(shí)數據更新 才能具備更快的市場(chǎng)反應能力
眾所周知，BI平臺的報表系統可以連接多維數據庫。報表是幫助用戶(hù)掌握和了解數據，企業(yè)決策者通過(guò)實(shí)時(shí)數據進(jìn)行分析和挖掘，為業(yè)務(wù)的變化及時(shí)作出應對策略。
一汽-大眾4S門(mén)店的BI報表業(yè)務(wù)需要實(shí)時(shí)匯集所有門(mén)店的數據，面臨巨大的技術(shù)挑戰：60+MySQL實(shí)例，200+數據庫，共3萬(wàn)張表需要數據實(shí)時(shí)同步到BI系統內。
如果按照傳統的數據入湖方式，需要配置3萬(wàn)條數據同步鏈路，以及海量的工作比對數據一致性，維護成本極高，同步效率低下。此外，隨著(zhù)數據量的膨脹，現有的數據庫無(wú)法支撐數TB級別的數據量。
因此打造支持海量數據存儲、數據實(shí)時(shí)同步的商業(yè)數據智能分析的BI平臺迫在眉睫。
面對一汽-大眾的業(yè)務(wù)挑戰，華為云在方案選型上的主要考量如下：
- 抽取數據對源數據庫影響最小化：抽取數據不能拖垮源數據庫，也不能對源業(yè)務(wù)的性能造成較大的衰減，甚至表被鎖定；
- 部署實(shí)施要輕量簡(jiǎn)單：不需要在每個(gè)數據源安裝代理程序，即開(kāi)即用，配置操作簡(jiǎn)單易用；
- 數據一致性有保障：基于binlog解析進(jìn)行邏輯數據同步，具有斷點(diǎn)續傳和嚴格的認點(diǎn)技術(shù)，有效確保數據一致性。
助力報表系統數據實(shí)時(shí)同步全面釋放數據價(jià)值
DRS(Data replication Service)華為云數據復制服務(wù)，可以將云上的數據通過(guò)多對一的方案匯集到具備寫(xiě)入能力的華為旗艦型云原生數據庫GaussDB(for MySQL)中，保證數據一致性和實(shí)效性，再通過(guò)DRS實(shí)施同步，從GaussDB(for MySQL)同步到華為云數據倉庫GaussDB(DWS)中進(jìn)行分析。
但要達到實(shí)時(shí)數據同步難度極大，因此，華為云數據庫解決了以下核心難題：
- 增加數據來(lái)源列，解決主鍵沖突：通過(guò)MySQL到GaussDB(for MySQL)的多對一方案，增加數據來(lái)源列，記錄server/database/table信息，避免多個(gè)源表主鍵沖突；
- 同步鏈路支持動(dòng)態(tài)加減表：新增業(yè)務(wù)隨時(shí)需要增加同步的表，華為云DRS支持GaussDB(for MySQL)的鏈路動(dòng)態(tài)增減表，配置更加簡(jiǎn)單方便；
- 標記數據入湖時(shí)間，幫助實(shí)時(shí)分析：增加附加列數據行寫(xiě)入時(shí)間和更新時(shí)間的列，標記數據插入和更新時(shí)間，為數據入湖及數據實(shí)時(shí)分析打下基礎；
- 引入緩沖數據庫，實(shí)時(shí)計算：針對1.8萬(wàn)張表不停的匯集和寫(xiě)入，選擇了百萬(wàn)級QPS吞吐量和海量數據存儲能力的GaussDB(for MySQL)作為緩沖層數據庫，解決OLTP和OLAP數據庫之間天然的數據處理能力差異。基于DRS實(shí)時(shí)準確的數據同步后，華為云GaussDB(DWS)實(shí)現實(shí)時(shí)計算，極大縮短復雜報表的執行時(shí)間；
- 數據實(shí)時(shí)精準同步：基于華為云DRS準確的數據同步能力，正常情況下延遲均在1s以?xún)龋瑸閷?shí)時(shí)報表提供基礎條件，且數據同步準確度高，源端和目標端數據行數一致。
業(yè)務(wù)上線(xiàn)后，一汽-大眾業(yè)務(wù)報表系統維護的鏈路數量從3萬(wàn)條降低至65條，工作效率大幅提升；同時(shí)10億級數據無(wú)一條丟失，極大降低數據比對工作；幫助一汽-大眾實(shí)現了銷(xiāo)售報表數據可用時(shí)間從1天降低為10分鐘，時(shí)效性大幅提升。
此外，緩沖層數據庫GaussDB(for MySQL) 具備海量數據存儲能力，最大支持128TB，超百萬(wàn)級QPS吞吐，可支撐業(yè)務(wù)快速發(fā)展；基于GaussDB(for MySQL)的計算存儲分離架構，數據三副本存儲強一致，數據零丟失；RTO秒級，故障秒切換，全面保障數據安全。
一汽-大眾以用戶(hù)為中心，構建以數據分析為核心的生態(tài)圈，洞察用戶(hù)需求，提供高價(jià)值產(chǎn)品，深受客戶(hù)青睞。而華為云數據庫通過(guò)技術(shù)手段實(shí)現數據實(shí)時(shí)同步，從海量的數據中發(fā)現洞察，為企業(yè)經(jīng)營(yíng)決策提供數據基礎。
未來(lái)，華為云數據庫將持續攜手一汽-大眾通過(guò)數字技術(shù)，打造差異化有競爭力的數字化服務(wù)，滿(mǎn)足客戶(hù)對產(chǎn)品和服務(wù)日益增長(cháng)的個(gè)性化需求。
