• <strike id="fdgpu"><input id="fdgpu"></input></strike>
    <label id="fdgpu"></label>
    <s id="fdgpu"><code id="fdgpu"></code></s>

  • <label id="fdgpu"></label>
  • <span id="fdgpu"><u id="fdgpu"></u></span>

    <s id="fdgpu"><sub id="fdgpu"></sub></s>
    您當(dāng)前的位置是:  首頁 > 資訊 > 國際 >
     首頁 > 資訊 > 國際 >

    Google發(fā)布用於企業(yè)資料倉儲搬遷的資料驗證工具DVT

    2021-07-27 16:34:26   作者:   來源:CTI論壇   評論:0  點擊:


      DVT能夠以標(biāo)準(zhǔn)方法連接包括BigQuery、MySQL和Teradata等各種資料來源,并在資料搬遷的過程,驗證其正確性
      Google宣布推出了資料驗證工具(DVT),這是一個開源的Python命令列工具,可以跨不同環(huán)境進(jìn)行自動化資料驗證。
      Google提到,資料驗證是資料倉儲、資料庫和資料湖搬遷的關(guān)鍵步驟,工作包括比較來源和目標(biāo)表格的結(jié)構(gòu)化和半結(jié)構(gòu)化資料,并在每個搬遷步驟,像是SQL腳本轉(zhuǎn)換、資料和架構(gòu)搬遷以及ETL搬遷等,驗證這些步驟是否正確完成。
      跨平臺驗證資料雖然重要但是卻非常耗時,用戶可能必須要建構(gòu)和維護(hù)自定義解決方案,才能完成這項工作,而DVT提供了一個標(biāo)準(zhǔn)化的解決方案,可供用戶根據(jù)本地端系統(tǒng)中的資料,驗證Google云端中心搬遷的資料,DVT能夠與現(xiàn)有企業(yè)基礎(chǔ)設(shè)施和ETL工作管線整合,進(jìn)行無縫且自動化的驗證。
      DVT使用Ibis框架來連接到大量資料來源,Ibis則是一個Python框架,能夠用標(biāo)準(zhǔn)方式存取資料,并且對不同來源的資料進(jìn)行分析運(yùn)算,簡單來說,Ibis供用戶方便地使用Python編寫SQL,但在存取資料外,其重點在於分析,除了可用於SQL資料庫,還支援後端各種資料儲存系統(tǒng)。
      有了Ibis的支援,DVT能夠連接到大量的資料源上,包括BigQuery、AWS S3、MySQL、Oracle、Spanner、SQL Server以及Teradata等。DVT能執(zhí)行多層資料驗證,從各種表格層級的驗證到列驗證。
    【免責(zé)聲明】本文僅代表作者本人觀點,與CTI論壇無關(guān)。CTI論壇對文中陳述、觀點判斷保持中立,不對所包含內(nèi)容的準(zhǔn)確性、可靠性或完整性提供任何明示或暗示的保證。請讀者僅作參考,并請自行承擔(dān)全部責(zé)任。

    專題

    CTI論壇會員企業(yè)

    亚洲精品网站在线观看不卡无广告,国产a不卡片精品免费观看,欧美亚洲一区二区三区在线,国产一区二区三区日韩 西吉县| 普宁市| 岳池县| 清河县| 石渠县| 巴马| 澎湖县| 岫岩| 合作市| 英超| 革吉县| 泌阳县| 南皮县| 大渡口区| 通化县| 汤阴县| 锦屏县| 法库县| 东至县| 宣汉县| 河池市| 资中县| 北流市| 青河县| 奈曼旗| 泉州市| 明光市| 襄汾县| 裕民县| 清苑县| 濮阳市| 尼木县| 彩票| 山丹县| 收藏| 盐津县| 长沙市| 崇阳县| 安义县| 和林格尔县| 泽库县| http://444 http://444 http://444 http://444 http://444 http://444