• <strike id="fdgpu"><input id="fdgpu"></input></strike>
    <label id="fdgpu"></label>
    <s id="fdgpu"><code id="fdgpu"></code></s>

  • <label id="fdgpu"></label>
  • <span id="fdgpu"><u id="fdgpu"></u></span>

    <s id="fdgpu"><sub id="fdgpu"></sub></s>
    您當(dāng)前的位置是:  首頁(yè) > 資訊 > 國(guó)際 >
     首頁(yè) > 資訊 > 國(guó)際 >

    AWS正式推出數(shù)據(jù)湖管理工具Lake Formation

    2019-08-12 13:56:20   作者:   來源:CTI論壇   評(píng)論:0  點(diǎn)擊:


      Lake Formation可以將不同來源的數(shù)據(jù)移入數(shù)據(jù)湖中,并對(duì)數(shù)據(jù)進(jìn)行爬梳、編目和整理,以利後續(xù)分析使用
      AWS在去年re:Invent 2018大會(huì)上介紹的數(shù)據(jù)湖管理工具AWS Lake Formation,現(xiàn)在推出正式版,用戶可以使用AWS Lake Formation對(duì)數(shù)據(jù)進(jìn)行擷取、清理、分類、轉(zhuǎn)換以及保護(hù)的工作,方便後續(xù)分析或是機(jī)器學(xué)習(xí)使用。
      AWS提到,只要企業(yè)開始使用數(shù)字格式的數(shù)據(jù),那就可能需要建立一個(gè)數(shù)據(jù)倉(cāng)儲(chǔ),從CRM或是ERP等營(yíng)運(yùn)系統(tǒng)收集數(shù)據(jù),并給其他決策支援系統(tǒng)使用,這些數(shù)據(jù)包括未組織的原始數(shù)據(jù)、日志、圖片、影片或是掃描的文件等,而這也是數(shù)據(jù)湖的概念,將所有數(shù)據(jù)以各種規(guī)模與形式,儲(chǔ)存在中央儲(chǔ)存庫(kù)中。
      而AWS新推出的數(shù)據(jù)湖服務(wù)Lake Formation,能簡(jiǎn)化數(shù)據(jù)湖的管理工作,用戶可以使用中央控制臺(tái),處理建置和配置數(shù)據(jù)湖繁雜的工作,包括載入不同來源的數(shù)據(jù)、監(jiān)控?cái)?shù)據(jù)流、設(shè)定數(shù)據(jù)分區(qū)、加密和管理金鑰,以及格式轉(zhuǎn)換與監(jiān)控營(yíng)運(yùn)等工作。
      只要在Lake Formation中指定數(shù)據(jù)來源,系統(tǒng)就會(huì)自動(dòng)從數(shù)據(jù)庫(kù)和物件儲(chǔ)存擷取數(shù)據(jù),并將這些數(shù)據(jù)儲(chǔ)存到Amazon S3數(shù)據(jù)湖中,以適當(dāng)?shù)拇笮∨c方式整理,增加存取效能,并以機(jī)器學(xué)習(xí)演算法清理和分類數(shù)據(jù),為敏感數(shù)據(jù)提供存取保護(hù)。
      用戶還可以使用Glue ML Transforms刪除數(shù)據(jù)湖中重復(fù)的數(shù)據(jù),提高後續(xù)分析數(shù)據(jù)的效率,避免因?yàn)橹貜?fù)的數(shù)據(jù),造成分析工作的混淆。AWS提到,這項(xiàng)工作并非單純透過鍵值比對(duì),就能找出重復(fù)的數(shù)據(jù),很多情況需要進(jìn)行模糊比對(duì),像是當(dāng)用戶需要在不同表格查詢類似的項(xiàng)目時(shí),就需要使用模糊連接(Fuzzy Join),在不共用唯一鍵值的兩個(gè)數(shù)據(jù)庫(kù)表格查詢相似數(shù)據(jù)。
      在保護(hù)數(shù)據(jù)存取方面,用戶可以在Lake Formation中,定義精細(xì)的存取政策,保護(hù)Glue Data Catalog中的元數(shù)據(jù),以及儲(chǔ)存在Amazon S3的數(shù)據(jù),AWS提到,在數(shù)據(jù)湖中管理存取權(quán)限是一件復(fù)雜的任務(wù),因?yàn)閿?shù)據(jù)的各種特性,包括結(jié)構(gòu)化與否、敏感性或是可存取的數(shù)據(jù)范圍不一,而Lake Formation賦予用戶以IAM使用者、角色、群組和AD來管理數(shù)據(jù)存取,也能夠拒絕表格特定的科目被存取。
    【免責(zé)聲明】本文僅代表作者本人觀點(diǎn),與CTI論壇無關(guān)。CTI論壇對(duì)文中陳述、觀點(diǎn)判斷保持中立,不對(duì)所包含內(nèi)容的準(zhǔn)確性、可靠性或完整性提供任何明示或暗示的保證。請(qǐng)讀者僅作參考,并請(qǐng)自行承擔(dān)全部責(zé)任。

    專題

    CTI論壇會(huì)員企業(yè)

    亚洲精品网站在线观看不卡无广告,国产a不卡片精品免费观看,欧美亚洲一区二区三区在线,国产一区二区三区日韩 绍兴市| 宜阳县| 陆丰市| 平舆县| 体育| 海林市| 景谷| 勃利县| 葫芦岛市| 资中县| 阿克| 雷州市| 贵溪市| 云安县| 南阳市| 赣州市| 大城县| 黔西县| 昌吉市| 杨浦区| 巩义市| 巫溪县| 广汉市| 当阳市| 从化市| 乐业县| 崇阳县| 梅河口市| 临城县| 新乡市| 梁平县| 茶陵县| 新田县| 辽源市| 怀仁县| 玉门市| 会宁县| 荆州市| 东丽区| 灵武市| 武穴市| http://444 http://444 http://444 http://444 http://444 http://444