• <strike id="fdgpu"><input id="fdgpu"></input></strike>
    <label id="fdgpu"></label>
    <s id="fdgpu"><code id="fdgpu"></code></s>

  • <label id="fdgpu"></label>
  • <span id="fdgpu"><u id="fdgpu"></u></span>

    <s id="fdgpu"><sub id="fdgpu"></sub></s>
    您當前的位置是:  首頁(yè) > 資訊 > 國際 >
     首頁(yè) > 資訊 > 國際 >

    Google發(fā)布用於企業(yè)資料倉儲搬遷的資料驗證工具DVT

    2021-07-27 16:34:26   作者:   來(lái)源:CTI論壇   評論:0  點(diǎn)擊:


      DVT能夠以標準方法連接包括BigQuery、MySQL和Teradata等各種資料來(lái)源,并在資料搬遷的過(guò)程,驗證其正確性
      Google宣布推出了資料驗證工具(DVT),這是一個(gè)開(kāi)源的Python命令列工具,可以跨不同環(huán)境進(jìn)行自動(dòng)化資料驗證。
      Google提到,資料驗證是資料倉儲、資料庫和資料湖搬遷的關(guān)鍵步驟,工作包括比較來(lái)源和目標表格的結構化和半結構化資料,并在每個(gè)搬遷步驟,像是SQL腳本轉換、資料和架構搬遷以及ETL搬遷等,驗證這些步驟是否正確完成。
      跨平臺驗證資料雖然重要但是卻非常耗時(shí),用戶(hù)可能必須要建構和維護自定義解決方案,才能完成這項工作,而DVT提供了一個(gè)標準化的解決方案,可供用戶(hù)根據本地端系統中的資料,驗證Google云端中心搬遷的資料,DVT能夠與現有企業(yè)基礎設施和ETL工作管線(xiàn)整合,進(jìn)行無(wú)縫且自動(dòng)化的驗證。
      DVT使用Ibis框架來(lái)連接到大量資料來(lái)源,Ibis則是一個(gè)Python框架,能夠用標準方式存取資料,并且對不同來(lái)源的資料進(jìn)行分析運算,簡(jiǎn)單來(lái)說(shuō),Ibis供用戶(hù)方便地使用Python編寫(xiě)SQL,但在存取資料外,其重點(diǎn)在於分析,除了可用於SQL資料庫,還支援後端各種資料儲存系統。
      有了Ibis的支援,DVT能夠連接到大量的資料源上,包括BigQuery、AWS S3、MySQL、Oracle、Spanner、SQL Server以及Teradata等。DVT能執行多層資料驗證,從各種表格層級的驗證到列驗證。
    【免責聲明】本文僅代表作者本人觀(guān)點(diǎn),與CTI論壇無(wú)關(guān)。CTI論壇對文中陳述、觀(guān)點(diǎn)判斷保持中立,不對所包含內容的準確性、可靠性或完整性提供任何明示或暗示的保證。請讀者僅作參考,并請自行承擔全部責任。

    專(zhuān)題

    CTI論壇會(huì )員企業(yè)

    亚洲精品网站在线观看不卡无广告,国产a不卡片精品免费观看,欧美亚洲一区二区三区在线,国产一区二区三区日韩 龙陵县| 岳池县| 皮山县| 贞丰县| 云南省| 甘洛县| 长治县| 广安市| 阳山县| 汾阳市| 浠水县| 公主岭市| 深水埗区| 公安县| 富川| 怀来县| 泰和县| 喜德县| 南充市| 元朗区| 榆中县| 大足县| 宜川县| 万荣县| 开鲁县| 乌海市| 岑巩县| 富顺县| 昌邑市| 乌拉特中旗| 吉首市| 台前县| 阿尔山市| 罗江县| 建湖县| 滦南县| 重庆市| 淄博市| 女性| 廉江市| 苗栗县| http://444 http://444 http://444 http://444 http://444 http://444