• <strike id="fdgpu"><input id="fdgpu"></input></strike>
    <label id="fdgpu"></label>
    <s id="fdgpu"><code id="fdgpu"></code></s>

  • <label id="fdgpu"></label>
  • <span id="fdgpu"><u id="fdgpu"></u></span>

    <s id="fdgpu"><sub id="fdgpu"></sub></s>
    您當(dāng)前的位置是:  首頁 > 資訊 > 國內(nèi) >
     首頁 > 資訊 > 國內(nèi) >

    從1天→10分鐘,華為云DRS在背后做了這些

    2021-11-30 09:31:20   作者:   來源:CTI論壇   評論:0  點(diǎn)擊:


      效分析、減少人工干預(yù),是企業(yè)經(jīng)營的追求目標(biāo)。因此企業(yè)不再滿足于“T+1”,而是“T+0”,需要實(shí)時和個性化,對于汽車行業(yè)也不例外。
      一汽-大眾汽車有限公司(簡稱一汽-大眾)于1991年成立,是我國第一個按經(jīng)濟(jì)規(guī)模起步建設(shè)的現(xiàn)代化乘用車工業(yè)基地,旗下有奧迪、大眾、捷達(dá)三大品牌20余款產(chǎn)品,覆蓋A、B、C級全系列乘用車型。
      為了更好地服務(wù)客戶,一汽-大眾通過分析客戶使用習(xí)慣及偏好、產(chǎn)品個性化需求收集等方式,多維度滿足用戶購車和體驗(yàn)需求。
      但隨著數(shù)據(jù)挖掘的深入,對BI平臺的要求也越高,為解決報表業(yè)務(wù)系統(tǒng)數(shù)據(jù)量的快速增長、數(shù)據(jù)匯集、交互分析難等難題,一汽-大眾攜手華為云數(shù)據(jù)庫在MEP(經(jīng)銷商多功能生態(tài)平臺)-BI平臺項目合作中取得了突破,跨越了挑戰(zhàn)。
      實(shí)時數(shù)據(jù)更新 才能具備更快的市場反應(yīng)能力
      眾所周知,BI平臺的報表系統(tǒng)可以連接多維數(shù)據(jù)庫。報表是幫助用戶掌握和了解數(shù)據(jù),企業(yè)決策者通過實(shí)時數(shù)據(jù)進(jìn)行分析和挖掘,為業(yè)務(wù)的變化及時作出應(yīng)對策略。
      一汽-大眾4S門店的BI報表業(yè)務(wù)需要實(shí)時匯集所有門店的數(shù)據(jù),面臨巨大的技術(shù)挑戰(zhàn):60+MySQL實(shí)例,200+數(shù)據(jù)庫,共3萬張表需要數(shù)據(jù)實(shí)時同步到BI系統(tǒng)內(nèi)。
      如果按照傳統(tǒng)的數(shù)據(jù)入湖方式,需要配置3萬條數(shù)據(jù)同步鏈路,以及海量的工作比對數(shù)據(jù)一致性,維護(hù)成本極高,同步效率低下。此外,隨著數(shù)據(jù)量的膨脹,現(xiàn)有的數(shù)據(jù)庫無法支撐數(shù)TB級別的數(shù)據(jù)量。
      因此打造支持海量數(shù)據(jù)存儲、數(shù)據(jù)實(shí)時同步的商業(yè)數(shù)據(jù)智能分析的BI平臺迫在眉睫。
      面對一汽-大眾的業(yè)務(wù)挑戰(zhàn),華為云在方案選型上的主要考量如下:
    • 抽取數(shù)據(jù)對源數(shù)據(jù)庫影響最小化:抽取數(shù)據(jù)不能拖垮源數(shù)據(jù)庫,也不能對源業(yè)務(wù)的性能造成較大的衰減,甚至表被鎖定;
    • 部署實(shí)施要輕量簡單:不需要在每個數(shù)據(jù)源安裝代理程序,即開即用,配置操作簡單易用;
    • 數(shù)據(jù)一致性有保障:基于binlog解析進(jìn)行邏輯數(shù)據(jù)同步,具有斷點(diǎn)續(xù)傳和嚴(yán)格的認(rèn)點(diǎn)技術(shù),有效確保數(shù)據(jù)一致性。
      綜上,具備實(shí)時精準(zhǔn)同步且保障數(shù)據(jù)一致的輕量級服務(wù),華為云數(shù)據(jù)復(fù)制服務(wù)DRS是迎接業(yè)務(wù)挑戰(zhàn)的不二之選。
      助力報表系統(tǒng)數(shù)據(jù)實(shí)時同步全面釋放數(shù)據(jù)價值
      DRS(Data replication Service)華為云數(shù)據(jù)復(fù)制服務(wù),可以將云上的數(shù)據(jù)通過多對一的方案匯集到具備寫入能力的華為旗艦型云原生數(shù)據(jù)庫GaussDB(for MySQL)中,保證數(shù)據(jù)一致性和實(shí)效性,再通過DRS實(shí)施同步,從GaussDB(for MySQL)同步到華為云數(shù)據(jù)倉庫GaussDB(DWS)中進(jìn)行分析。
      但要達(dá)到實(shí)時數(shù)據(jù)同步難度極大,因此,華為云數(shù)據(jù)庫解決了以下核心難題:
    • 增加數(shù)據(jù)來源列,解決主鍵沖突:通過MySQL到GaussDB(for MySQL)的多對一方案,增加數(shù)據(jù)來源列,記錄server/database/table信息,避免多個源表主鍵沖突;
    • 同步鏈路支持動態(tài)加減表:新增業(yè)務(wù)隨時需要增加同步的表,華為云DRS支持GaussDB(for MySQL)的鏈路動態(tài)增減表,配置更加簡單方便;
    • 標(biāo)記數(shù)據(jù)入湖時間,幫助實(shí)時分析:增加附加列數(shù)據(jù)行寫入時間和更新時間的列,標(biāo)記數(shù)據(jù)插入和更新時間,為數(shù)據(jù)入湖及數(shù)據(jù)實(shí)時分析打下基礎(chǔ);
    • 引入緩沖數(shù)據(jù)庫,實(shí)時計算:針對1.8萬張表不停的匯集和寫入,選擇了百萬級QPS吞吐量和海量數(shù)據(jù)存儲能力的GaussDB(for MySQL)作為緩沖層數(shù)據(jù)庫,解決OLTP和OLAP數(shù)據(jù)庫之間天然的數(shù)據(jù)處理能力差異。基于DRS實(shí)時準(zhǔn)確的數(shù)據(jù)同步后,華為云GaussDB(DWS)實(shí)現(xiàn)實(shí)時計算,極大縮短復(fù)雜報表的執(zhí)行時間;
    • 數(shù)據(jù)實(shí)時精準(zhǔn)同步:基于華為云DRS準(zhǔn)確的數(shù)據(jù)同步能力,正常情況下延遲均在1s以內(nèi),為實(shí)時報表提供基礎(chǔ)條件,且數(shù)據(jù)同步準(zhǔn)確度高,源端和目標(biāo)端數(shù)據(jù)行數(shù)一致。
      業(yè)務(wù)上線后,一汽-大眾業(yè)務(wù)報表系統(tǒng)維護(hù)的鏈路數(shù)量從3萬條降低至65條,工作效率大幅提升;同時10億級數(shù)據(jù)無一條丟失,極大降低數(shù)據(jù)比對工作;幫助一汽-大眾實(shí)現(xiàn)了銷售報表數(shù)據(jù)可用時間從1天降低為10分鐘,時效性大幅提升。
      此外,緩沖層數(shù)據(jù)庫GaussDB(for MySQL) 具備海量數(shù)據(jù)存儲能力,最大支持128TB,超百萬級QPS吞吐,可支撐業(yè)務(wù)快速發(fā)展;基于GaussDB(for MySQL)的計算存儲分離架構(gòu),數(shù)據(jù)三副本存儲強(qiáng)一致,數(shù)據(jù)零丟失;RTO秒級,故障秒切換,全面保障數(shù)據(jù)安全。
      一汽-大眾以用戶為中心,構(gòu)建以數(shù)據(jù)分析為核心的生態(tài)圈,洞察用戶需求,提供高價值產(chǎn)品,深受客戶青睞。而華為云數(shù)據(jù)庫通過技術(shù)手段實(shí)現(xiàn)數(shù)據(jù)實(shí)時同步,從海量的數(shù)據(jù)中發(fā)現(xiàn)洞察,為企業(yè)經(jīng)營決策提供數(shù)據(jù)基礎(chǔ)。
      未來,華為云數(shù)據(jù)庫將持續(xù)攜手一汽-大眾通過數(shù)字技術(shù),打造差異化有競爭力的數(shù)字化服務(wù),滿足客戶對產(chǎn)品和服務(wù)日益增長的個性化需求。
    【免責(zé)聲明】本文僅代表作者本人觀點(diǎn),與CTI論壇無關(guān)。CTI論壇對文中陳述、觀點(diǎn)判斷保持中立,不對所包含內(nèi)容的準(zhǔn)確性、可靠性或完整性提供任何明示或暗示的保證。請讀者僅作參考,并請自行承擔(dān)全部責(zé)任。

    專題

    CTI論壇會員企業(yè)

    亚洲精品网站在线观看不卡无广告,国产a不卡片精品免费观看,欧美亚洲一区二区三区在线,国产一区二区三区日韩 清水县| 鲁山县| 平度市| 扶绥县| 北川| 洮南市| 巴里| 桐柏县| 乌海市| 黔江区| 通州市| 嵩明县| 河津市| 咸丰县| 茂名市| 汽车| 肥东县| 平舆县| 台江县| 文昌市| 望江县| 忻州市| 蓬溪县| 黄石市| 吉水县| 明光市| 万源市| 寿宁县| 新巴尔虎左旗| 琼中| 信丰县| 防城港市| 多伦县| 大荔县| 田林县| 行唐县| 边坝县| 阳高县| 勃利县| 浠水县| 遵义县| http://444 http://444 http://444 http://444 http://444 http://444