• <strike id="fdgpu"><input id="fdgpu"></input></strike>
    <label id="fdgpu"></label>
    <s id="fdgpu"><code id="fdgpu"></code></s>

  • <label id="fdgpu"></label>
  • <span id="fdgpu"><u id="fdgpu"></u></span>

    <s id="fdgpu"><sub id="fdgpu"></sub></s>
    您當前的位置是:  首頁(yè) > 資訊 > 國內 >
     首頁(yè) > 資訊 > 國內 >

    2天完成17TB數據量遷移,華為云數據庫是如何做的?

    2021-02-03 10:38:36   作者:   來(lái)源:CTI論壇   評論:0  點(diǎn)擊:


      童年時(shí)候,我們會(huì )對著(zhù)墻上掛著(zhù)的中國地圖,來(lái)認識一處處山川河流和城市人文。如今,數字化時(shí)代下,傳統的地圖已經(jīng)不能滿(mǎn)足人們的需求,如何獲取各種豐富的地理內容和實(shí)時(shí)動(dòng)態(tài)信息成為現代人普遍的地理信息訴求。
      作為國家基礎地理信息公共服務(wù)平臺,天地圖集成了來(lái)自國家、省、市(縣)各級測繪地理信息部門(mén),以及相關(guān)政府部門(mén)、企事業(yè)單位 、社會(huì )團體、公眾的地理信息公共服務(wù)資源,以門(mén)戶(hù)網(wǎng)站、服務(wù)接口、前置服務(wù)等形式向政府、專(zhuān)業(yè)部門(mén)、企業(yè)、公眾等用戶(hù)提供在線(xiàn)地理信息服務(wù)。
      此前,國家基礎地理信息中心攜手華為云,基于天地圖平臺,共同打造云上智慧地圖,促進(jìn)地理信息資源共享和高效利用,讓世界觸手可及。
      地理數據量增加,數據庫彈性迎挑戰
      天地圖覆蓋全國300多個(gè)地級以及地級以上城市0.6米分辨率的衛星遙感影像等地理信息數據,全庫數據量達到17TB,數據吞吐量巨大。巨大的吞吐量和高額運維成本,促使國家基礎地理信息中心迫切尋求低成本、高可用、高性能、大容量的數據庫產(chǎn)品,同時(shí)希望可以將遷移時(shí)間壓縮到2天左右。
      低成本:早期天地圖運營(yíng)投入較多資金,包括數據庫在內的IT投入成本居高不下。業(yè)務(wù)有讀寫(xiě)分離訴求,希望在保證性能的前提下,通過(guò)一套實(shí)例實(shí)現讀寫(xiě)分離,從而降低數據庫成本。
    • 高可用:社區版MongoDB一個(gè)shard多數節點(diǎn)故障,就會(huì )導致該shard成為只讀,因此希望提供無(wú)狀態(tài)的路由節點(diǎn),實(shí)現快速故障轉移。
    • 高性能:天地圖每天的訪(fǎng)問(wèn)量在6億左右,隨著(zhù)數據量和業(yè)務(wù)訪(fǎng)問(wèn)量的增加,現有系統不足以支撐日益增長(cháng)的業(yè)務(wù)需求,需要更高性能的數據庫來(lái)支撐日益增長(cháng)的業(yè)務(wù)數據。
    • 容量:隨著(zhù)瓦片層級增加,數據量越來(lái)越大,現有MongoDB擴容難度大,需要一款數據庫支持不少于20TB的瓦片數據,支持在線(xiàn)擴容。
    • 運維效率:運維人力有限,系統運維壓力越來(lái)越大,運維工作成本越來(lái)越高,現有社區版MongoDB難以支撐運維工作需求。希望能夠提供數據庫自運維能力,能為數據庫做技術(shù)兜底,降低運維成本。
      天地圖&華為云,彰顯云上“數字中國”新魅力
      天地圖業(yè)務(wù)數據復雜,數據種類(lèi)多樣,結合客戶(hù)訴求和業(yè)務(wù)特點(diǎn),華為云數據庫采用公有云對外服務(wù)為主,私有云對內測試為輔的混合云架構,提供多種數據庫引擎方案,聯(lián)合打造高性能、高可用的數字底座。
      華為云GaussDB(for Mongo)提供在線(xiàn)地圖的瓦片數據處理服務(wù);華為云RDS for PostgreSQL提供矢量數據和三維數據處理服務(wù);華為云RDS for MySQL提供用戶(hù)管理和專(zhuān)題圖層屬性服務(wù),多款數據庫極速融合,共同發(fā)力,17TB的海量數據遷移僅僅用了2天。
      高可用特性加持,業(yè)務(wù)穩定運行
      天地圖作為國家級的服務(wù)平臺,數據的安全可靠可謂至關(guān)重要。華為云GaussDB(for Mongo)支持跨AZ高可用,擁有完善的跨區域容災策略,每天自動(dòng)進(jìn)行全量備份和增量備份,并定期進(jìn)行恢復演練,驗證備份恢復流程的有效性,實(shí)現分鐘級備份恢復。同時(shí)提供無(wú)狀態(tài)的路由節點(diǎn),支持秒級故障轉移,客戶(hù)業(yè)務(wù)無(wú)感知,業(yè)務(wù)運行穩定。
      超高性能與大容量,再大流量也不怕
      天地圖為30+部委機構和全國30多個(gè)省市提供地理信息基礎平臺服務(wù),日均API和服務(wù)調用超過(guò)6億次,訪(fǎng)問(wèn)壓力極大。華為云GaussDB(for Mongo) 可實(shí)現分鐘級節點(diǎn)擴容和秒級存儲擴容,滿(mǎn)足敏捷業(yè)務(wù)彈性需要,對天地圖高達上億的訪(fǎng)問(wèn)毫無(wú)壓力,響應能力快穩準,有效保障了天地圖在高負載情景下業(yè)務(wù)的正常運行。而且GaussDB(for Mongo)基于存算分離架構和rocksdb優(yōu)化,相比開(kāi)源MongDB性能提高3倍以上,最大支持96TB的數據處理能力,完全滿(mǎn)足天地圖海量業(yè)務(wù)請求。
      降本增效不止一點(diǎn)點(diǎn)
      GaussDB(for Mongo)完全兼容MongoDB協(xié)議,客戶(hù)業(yè)務(wù)無(wú)需任何改造,即可輕松切換數據庫,極大減少了改造成本;而且通過(guò)實(shí)時(shí)生成快照和刪除快照的能力,GaussDB(for Mongo)實(shí)現一套集群即可提供讀寫(xiě)分離的能力,數據庫成本節省至少50%。天地圖上華為云之后,基于數據庫服務(wù)自動(dòng)化運維平臺,數據更新效率提升5倍,新業(yè)務(wù)上線(xiàn)速度提高2倍,還減輕了DBA繁重的運維壓力,讓客戶(hù)更聚焦業(yè)務(wù)層面。
      自2019年2月上線(xiàn)以來(lái),華為云數據庫已輕松支撐天地圖6億+的日均訪(fǎng)問(wèn)量,保障業(yè)務(wù)平穩運行,實(shí)現零事故;同時(shí)為公眾提供了更為全面、精準、權威、 智能、人性化的地理信息服務(wù),讓全社會(huì )共享測繪發(fā)展成果,感受“數字中國”的獨特魅力。
    【免責聲明】本文僅代表作者本人觀(guān)點(diǎn),與CTI論壇無(wú)關(guān)。CTI論壇對文中陳述、觀(guān)點(diǎn)判斷保持中立,不對所包含內容的準確性、可靠性或完整性提供任何明示或暗示的保證。請讀者僅作參考,并請自行承擔全部責任。

    專(zhuān)題

    CTI論壇會(huì )員企業(yè)

    亚洲精品网站在线观看不卡无广告,国产a不卡片精品免费观看,欧美亚洲一区二区三区在线,国产一区二区三区日韩 霍州市| 明溪县| 武穴市| 黑水县| 合水县| 岢岚县| 兴城市| 成武县| 自治县| 锡林浩特市| 会昌县| 繁昌县| 延庆县| 宜兰县| 盐津县| 衡阳县| 张家口市| 霍城县| 宁国市| 喀喇沁旗| 武山县| 衢州市| 仁寿县| 顺平县| 永嘉县| 孝昌县| 咸丰县| 古蔺县| 拉孜县| 高清| 哈密市| 道真| 延庆县| 沙田区| 乐至县| 邻水| 江阴市| 尚志市| 定州市| 冕宁县| 新建县| http://444 http://444 http://444 http://444 http://444 http://444