在亞馬遜云服務(wù)（AWS）舉辦的年度盛會(huì ) -- AWS re:Invent上，AWS宣布了三項全新的數據分析功能，這些功能可以大幅提升Amazon Redshift數據倉庫的性能，使客戶(hù)在數據存儲間的移動(dòng)和合并數據變得更加容易，并且使終端用戶(hù)更便捷地利用機器學(xué)習從業(yè)務(wù)數據中獲得更多價(jià)值。

　　AQUA for Amazon Redshift 通過(guò)創(chuàng )新的硬件加速緩存，將計算能力帶到存儲層中，加速數據查詢(xún)，提供比其它任何云數據倉庫高達10倍的查詢(xún)性能，該服務(wù)將于2021年1月全面上市。

　　AWS Glue Elastic Views 可幫助開(kāi)發(fā)人員構建使用來(lái)自多個(gè)數據存儲的應用。利用物化視圖，自動(dòng)在存儲、數據倉庫和數據庫之間合并和復制數據。

　　Amazon QuickSight Q為Amazon QuickSight提供機器學(xué)習驅動(dòng)的能力，使用戶(hù)能夠使用自然語(yǔ)言表達，在A(yíng)mazon QuickSight Q搜索欄中提出業(yè)務(wù)問(wèn)題，并在幾秒鐘內收到高度準確的答案。

　　當前，每小時(shí)創(chuàng )造的數據比20年前一整年所創(chuàng )造的數據還要多。事實(shí)上，未來(lái)三年創(chuàng )造的數據量將超出過(guò)去30年創(chuàng )造的數據量。以往的舊工具在當今這個(gè)新的數據世界中根本無(wú)法發(fā)揮作用。AWS客戶(hù)針對不同的應用場(chǎng)景，推出了多種分析工具，包括用于無(wú)服務(wù)器式查詢(xún)的Amazon Athena，用于搜索和可視化日志數據的Amazon Elasticsearch Service，用于處理實(shí)時(shí)數據流的Amazon Kinesis，用作數據倉庫的Amazon Redshift，以及用于運行Apache Spark、Hive、Presto和其它大數據框架的Amazon EMR。這些服務(wù)為AWS客戶(hù)提供了適合他們需求的工具。今天宣布的全新數據分析功能建立在這一基礎之上，并為客戶(hù)的所有數據存儲提供更快、更具性?xún)r(jià)比、更易于訪(fǎng)問(wèn)的數據分析。要了解更多信息，請訪(fǎng)問(wèn)https://aws.amazon.com/big-data/datalakes-and-analytics/ 。

　　AWS分析業(yè)務(wù)副總裁Rahul Pathak說(shuō)：“通過(guò)我們今天發(fā)布的功能，我們將為Amazon Redshift帶來(lái)10倍以上的性能提升，提供新的靈活方式、輕松地在數據存儲之間移動(dòng)數據，客戶(hù)可以在業(yè)務(wù)儀表盤(pán)中用自然語(yǔ)言提出問(wèn)題，并在幾秒鐘內收到答案。這些功能將極大地提高客戶(hù)在任何規模下獲取數據價(jià)值的速度和易用性。”

　　Amazon Redshift自2012年推出以來(lái)，作為首個(gè)為云端構建的數據倉庫，其成本僅為傳統數據倉庫的1/10，目前已經(jīng)成為最受歡迎的云數據倉庫之一。今年早些時(shí)候，AWS宣布推出Amazon Redshift RA3實(shí)例，允許客戶(hù)分別擴展計算和存儲，并提供比其它云數據倉庫高3倍的性能。然而，即使有RA3實(shí)例提供的優(yōu)勢，快速增長(cháng)的客戶(hù)在數據倉庫中需要處理的數據依然令客戶(hù)在性能和成本效益擴展之間難以平衡。數據倉庫的主流架構是大量的集中式存儲數據需要被轉移到等著(zhù)處理數據的計算節點(diǎn)來(lái)進(jìn)行處理。這種方法面臨的挑戰是，共享數據和計算節點(diǎn)之間有大量的數據移動(dòng)。隨著(zhù)數據量持續快速增長(cháng)，這種數據移動(dòng)會(huì )使可用的網(wǎng)絡(luò )帶寬飽和、性能降低。除了網(wǎng)絡(luò )瓶頸之外，CPU的發(fā)展也無(wú)法跟上存儲能力的快速增長(cháng)（SSD存儲吞吐量的增長(cháng)速度6倍于CPU從內存處理數據的能力的增長(cháng)），這要么造成了其新的CPU瓶頸，要么迫使更多的客戶(hù)過(guò)度配置算力、以便更快地完成工作。

　　AQUA for Amazon Redshift是Amazon Redshift的分布式、硬件加速緩存，這一創(chuàng )新可以提高新時(shí)代數據規模下的分析性能。AQUA將計算能力帶到存儲層，數據不必在兩者之間來(lái)回移動(dòng)。這使得Amazon Redshift的運行速度是其它云數據倉庫的十倍。AQUA緩存可在眾多節點(diǎn)上并行擴展和處理數據。每個(gè)節點(diǎn)都擁有一個(gè)由AWS設計的分析處理器組成的硬件模塊，可大幅加快數據壓縮、加密，以及掃描、聚合和過(guò)濾等數據處理任務(wù)。AQUA還為客戶(hù)帶來(lái)了額外的好處，即能夠在原始存儲上進(jìn)行計算，節省了原本需要花費在移動(dòng)數據上的時(shí)間。有了這一新的架構，以及它所帶來(lái)的10倍以上的性能提高，Redshift的客戶(hù)可以擁有更新的數據儀表盤(pán)，節省開(kāi)發(fā)時(shí)間，他們的系統也更容易維護。AQUA的預覽版現已向所有客戶(hù)開(kāi)放，AQUA將于2021年1月全面上市。AQUA可在Redshift RA3實(shí)例上使用，無(wú)需額外的費用，客戶(hù)可以利用AQUA的性能改進(jìn)，無(wú)需更改代碼。要開(kāi)始使用AQUA，請訪(fǎng)問(wèn)https://pages.awscloud.com/AQUA_Preview.html 。

　　大多數公司都在建立或者已經(jīng)建立了數據湖，他們可以通過(guò)正確的安全和訪(fǎng)問(wèn)控制，將來(lái)自各種孤島的所有數據匯總起來(lái)，以便更容易進(jìn)行數據分析和機器學(xué)習。但出于延時(shí)和運營(yíng)的原因，大多數公司也可能在數據湖之外的專(zhuān)用數據存儲中擁有越來(lái)越多的數據。隨著(zhù)這些數據湖和專(zhuān)用數據存儲中的數據不斷增加，公司需要更簡(jiǎn)單的方法來(lái)移動(dòng)數據。

　　AWS Glue Elastic Views為開(kāi)發(fā)人員提供了一種新的能力，可以輕松構建物化視圖（也稱(chēng)為虛擬表），在多個(gè)數據存儲中自動(dòng)組合和復制數據。AWS Glue是一種無(wú)服務(wù)器的數據準備服務(wù)，可以輕松運行用于數據分析和機器學(xué)習的提取、轉換和加載（ETL）作業(yè)。通過(guò)AWS Glue Elastic Views，客戶(hù)可以使用SQL創(chuàng )建從不同數據存儲中組合數據的物化視圖，AWS Glue Elastic Views負責從不同數據源來(lái)復制數據以創(chuàng )建物化視圖。例如，客戶(hù)可能會(huì )創(chuàng )建一個(gè)物化視圖，從Amazon Aurora中提取餐廳位置信息，并將其與存儲在A(yíng)mazon DynamoDB中的客戶(hù)評論相結合，然后在A(yíng)mazon Elasticsearch Service上按位置建立一個(gè)餐廳評論搜索引擎。AWS Glue Elastic Views 將數據從每個(gè)源數據庫復制到目標數據庫，自動(dòng)保障目標數據庫中的數據更新。Elastic Views會(huì )持續監控源數據庫的變化，并在幾秒鐘內更新目標數據庫。如果其中一個(gè)源數據庫中的數據模型發(fā)生了變化，Elastic Views會(huì )主動(dòng)提醒開(kāi)發(fā)人員，這樣他們就可以更新他們的物化視圖以適應變化。客戶(hù)還可以使用Elastic Views將運營(yíng)數據從運營(yíng)數據庫復制到數據湖中，近乎實(shí)時(shí)地運行數據分析。AWS Glue Elastic Views可以自動(dòng)擴縮以適應工作負載的增減，確保目標數據庫中的物化視圖保持最新。AWS Glue Elastic Views 現在可以預覽。要了解更多信息，請訪(fǎng)問(wèn)http://aws.amazon.com/glue/features/elastic-views 。

　　Amazon QuickSight 是專(zhuān)為云計算而構建的可擴展、無(wú)服務(wù)器、可嵌入機器學(xué)習的商業(yè)智能 （BI） 服務(wù)。Amazon QuickSight 提供了現代的、交互式、自助服務(wù)式 BI 解決方案的所有優(yōu)勢，其功能可以輕松地將儀表盤(pán)嵌入到應用程序中，以高性?xún)r(jià)比的方式擴展，支持成千上萬(wàn)的客戶(hù)。Amazon QuickSight的“自動(dòng)敘述”功能為客戶(hù)提供自動(dòng)生成的簡(jiǎn)述，用通俗的語(yǔ)言解釋和描述BI儀表盤(pán)中數據的含義，使所有用戶(hù)對數據有共同的理解。客戶(hù)喜歡這些通俗易懂的敘述，因為這使他們能夠快速解讀共享儀表板中的數據，并專(zhuān)注于最重要的見(jiàn)解。客戶(hù)也喜歡用通俗的語(yǔ)言向他們的數據提出業(yè)務(wù)問(wèn)題，并得到近乎實(shí)時(shí)的答案。雖然一些BI工具和供應商已經(jīng)嘗試用自然語(yǔ)言查詢(xún)（NLQ）來(lái)解決這一挑戰，但現有的方法要求客戶(hù)首先要提前花幾個(gè)月的時(shí)間來(lái)準備和建立一個(gè)模型，即使這樣，他們仍然沒(méi)有辦法提出那些原有模型沒(méi)有預先定義，需要新計算的問(wèn)題。例如，“我們的同比增長(cháng)率是多少？”這個(gè)問(wèn)題需要在模型中預先定義“增長(cháng)率”作為計算。通過(guò)今天的BI工具，用戶(hù)需要與BI團隊合作，更新模型并考慮任何新的計算或數據，這可能需要幾天或幾周的功夫。

　　Amazon QuickSight Q讓用戶(hù)可以用自然語(yǔ)言對其所有數據提出任何問(wèn)題，并在幾秒鐘內收到答復。要提出問(wèn)題，用戶(hù)只需在A(yíng)mazon QuickSight Q搜索欄中輸入問(wèn)題。當用戶(hù)開(kāi)始輸入問(wèn)題時(shí)，Amazon QuickSight Q會(huì )提供帶有關(guān)鍵短語(yǔ)和業(yè)務(wù)術(shù)語(yǔ)的自動(dòng)補全建議，自動(dòng)執行拼寫(xiě)檢查、縮寫(xiě)詞與同義詞匹配，因此用戶(hù)不必擔心錯別字或記不住數據的準確業(yè)務(wù)術(shù)語(yǔ)。Amazon QuickSight Q使用深度學(xué)習和機器學(xué)習（自然語(yǔ)言處理、模式理解和SQL代碼生成的語(yǔ)義解析）來(lái)生成數據模型，自動(dòng)理解業(yè)務(wù)數據的含義和它們之間的關(guān)系，因此用戶(hù)的業(yè)務(wù)問(wèn)題可以得到高度準確的答案，而無(wú)需等待幾天或幾周來(lái)建立數據模型。由于A(yíng)mazon QuickSight Q無(wú)需BI團隊建立數據模型，因此用戶(hù)也不限于只提出一組特定的問(wèn)題。此外，因為查詢(xún)會(huì )應用于所有數據，而不僅僅是預設模型中的數據集，用戶(hù)可以得到更完整、更準確的答案。Amazon QuickSight Q預先根據來(lái)自不同領(lǐng)域和行業(yè)的數據進(jìn)行了訓練，如銷(xiāo)售、營(yíng)銷(xiāo)、運營(yíng)、零售、人力資源、醫藥、保險、能源等，因此它已被優(yōu)化來(lái)理解復雜的商業(yè)語(yǔ)言。例如，銷(xiāo)售用戶(hù)可以問(wèn)“我的銷(xiāo)售任務(wù)完成得如何？”，或者零售用戶(hù)可以問(wèn)“按地區劃分的周銷(xiāo)量增長(cháng)最快的產(chǎn)品是什么？”Amazon QuickSight Q 通過(guò)從用戶(hù)互動(dòng)中學(xué)習，隨著(zhù)時(shí)間的推移不斷提高其準確性。如果Amazon QuickSight Q不理解問(wèn)題中的某個(gè)短語(yǔ)，會(huì )提示用戶(hù)從搜索欄中的建議選項下拉菜單中選擇，Amazon QuickSight Q會(huì )記住該短語(yǔ)，以便下次交互。要了解有關(guān) Amazon QuickSight Q 的更多信息，請訪(fǎng)問(wèn) https://aws.amazon.com/quicksight/q 。

　　總部位于東京的NTT DOCOMO是日本最大的移動(dòng)服務(wù)提供商之一，為8000多萬(wàn)客戶(hù)提供服務(wù)。NTT DOCOMO服務(wù)創(chuàng )新部總經(jīng)理Ken Ohta表示：“自2014年遷移到Amazon Redshift以來(lái)，Amazon Redshift一直是我們數據分析環(huán)境的核心，使我們能夠存儲到超過(guò)10PB的未壓縮數據，性能比之前的線(xiàn)下系統提高了10倍。隨著(zhù)客戶(hù)對數據和數據量的需求增長(cháng)，Amazon Redshift的持續創(chuàng )新幫助我們帶來(lái)了擴展系統所需的靈活性和易用性。我們對AQUA for Amazon Redshift的推出感到興奮，因為我們將進(jìn)一步提高和擴大Amazon Redshift數據倉庫的性能和規模。”

　　Intercom是一家快速發(fā)展的創(chuàng )業(yè)公司，估值13億美元，融資超過(guò)2.4億美元。“強大的客戶(hù)關(guān)系比以往任何時(shí)候都重要，但在線(xiàn)業(yè)務(wù)的規模和性質(zhì)，可能會(huì )給建立個(gè)人聯(lián)系帶來(lái)困難。因此我們創(chuàng )建了世界上第一個(gè)對話(huà)關(guān)系平臺，幫助企業(yè)通過(guò)個(gè)性化的、基于即時(shí)通訊的體驗建立更好的客戶(hù)關(guān)系。為了使這一工作順利進(jìn)行，并在業(yè)務(wù)爆發(fā)的過(guò)程中了解我們的業(yè)務(wù)，我們依賴(lài)于大量的數據 -- 目前有70TB，而且還在不斷增加。”Intercom數據工程經(jīng)理Paul Vickers說(shuō)，“我們的Amazon Redshift云數據倉庫易于擴展并不會(huì )超支。我們對Amazon Redshift中新的AQUA功能感到非常興奮，這將加快我們的查詢(xún)速度，縮短數據分析師獲得洞察力的時(shí)間。我們知道，有了AWS，我們就可以專(zhuān)注于我們的業(yè)務(wù)增長(cháng)而不用關(guān)心背后的技術(shù)支持。”

　　埃森哲是一家全球性的專(zhuān)業(yè)服務(wù)公司，在數字化、云計算和安全領(lǐng)域具有領(lǐng)先的實(shí)力。埃森哲北美數據與AI 部門(mén)AWS合作負責人A.K. Radhakrishnan表示：“在埃森哲，我們致力于提供服務(wù)和解決方案，幫助全球客戶(hù)利用數據進(jìn)行實(shí)時(shí)決策。然而，數據和對數據洞察力的需求以令人難以置信的速度增長(cháng)，定義數據、確定優(yōu)先級和處理數據都面臨挑戰。AQUA for Amazon Redshift提供了創(chuàng )新的方法處理數據倉庫，查詢(xún)性能最高可提升10倍。這讓我們更容易支持數據驅動(dòng)型企業(yè)的目標。”

　　ZS Associates是一家專(zhuān)業(yè)服務(wù)公司，與企業(yè)并肩作戰、幫助開(kāi)發(fā)和交付產(chǎn)品，推動(dòng)客戶(hù)價(jià)值和公司業(yè)績(jì)。“AWS一直走在創(chuàng )新的最前沿，以為客戶(hù)提供一流的解決方案而享有盛譽(yù)。利用AWS的新一代技術(shù)和ZS深厚的技術(shù)及領(lǐng)域專(zhuān)長(cháng)，我們已經(jīng)為客戶(hù)在A(yíng)mazon Redshift上部署了多個(gè)大型數據和分析平臺。”ZS Associates企業(yè)架構負責人Nishesh Aggarwal表示，“通過(guò)引入Amazon Redshift的RA3實(shí)例，我們能夠顯著(zhù)提高數據分析工作負載的性能，同時(shí)解決數據存儲問(wèn)題。我們非常高興能?chē)L試AQUA for Amazon Redshift，因為它有望在不付出額外努力的情況下，將我們最復雜的工作負載的性能進(jìn)一步提高10倍左右。”

　　Sisense是一個(gè)獨立的數據分析平臺，它使全球2000多家客戶(hù)能夠簡(jiǎn)化復雜的數據，構建和嵌入數據分析應用。“Sisense和Amazon Redshift之間的強有力協(xié)作，為我們眾多的聯(lián)合客戶(hù)帶來(lái)了更好的云分析體驗。”Sisense首席戰略官Guy Levy-Yurista表示，“通過(guò)AQUA，我們預計性能將提升10倍，讓客戶(hù)能夠優(yōu)化他們的Redshift數據集群。這些將使我們的客戶(hù)能夠快速將數據轉化為洞察力，并在整個(gè)業(yè)務(wù)中注入智能。”

　　Audible是原創(chuàng )口語(yǔ)娛樂(lè )和有聲讀物的領(lǐng)先制作商和供應商，每天豐富著(zhù)數百萬(wàn)聽(tīng)眾的生活。“在A(yíng)udible，客戶(hù)可以搜索和發(fā)現多個(gè)類(lèi)別的原創(chuàng )口語(yǔ)娛樂(lè )內容和有聲讀物。為了給這種體驗提供動(dòng)力，我們需要快速分析來(lái)自多個(gè)數據庫的數據，以提供個(gè)性化的結果。”Audible首席軟件開(kāi)發(fā)工程師Shailesh Vyas說(shuō)，“我們期待著(zhù)嘗試AWS Glue Elastic Views作為無(wú)服務(wù)器解決方案，為我們環(huán)境中多個(gè)不同數據庫的數據創(chuàng )建物化視圖。有了AWS Glue Elastic Views，我們的開(kāi)發(fā)人員應該能夠更快地移動(dòng)數據，更專(zhuān)注于為客戶(hù)進(jìn)行創(chuàng )新，而不是管理復雜的數據集成管道。”

　　Best Western Hotels & Resorts總部位于亞利桑那州鳳凰城，是一家私營(yíng)酒店品牌，在全球100多個(gè)國家和地區擁有約4700家酒店。Best Western提供18個(gè)酒店品牌，滿(mǎn)足各個(gè)市場(chǎng)的開(kāi)發(fā)商和客人的需求。“Amazon QuickSight的按使用付費定價(jià)和無(wú)服務(wù)器架構，使得Best Western的精簡(jiǎn)分析團隊足夠敏捷，為業(yè)務(wù)提供更高的價(jià)值，速度更快，而且成本不到我們之前分析架構的一半。”Best Western Hotels & Resorts數據庫和企業(yè)分析高級經(jīng)理Joseph Landucci說(shuō)，“有了Amazon QuickSight Q，我們期待業(yè)務(wù)合作伙伴能夠自助解決問(wèn)題，減少我們團隊應對臨時(shí)請求的運營(yíng)開(kāi)銷(xiāo)。它將使我們的合作伙伴只需用簡(jiǎn)單的語(yǔ)言輸入他們的問(wèn)題，就能快速獲得關(guān)鍵業(yè)務(wù)問(wèn)題的答案。”

　　Capital One成立于1994年，是一家領(lǐng)先的信息化技術(shù)公司，其使命是讓銀行業(yè)更具獨創(chuàng )性、簡(jiǎn)單性和人性化，幫助銀行客戶(hù)取得成功。“借助Amazon QuickSight，我們已經(jīng)能夠大規模地、快速推出機器學(xué)習驅動(dòng)的BI儀表板，無(wú)需任何服務(wù)器設置或繁瑣的容量規劃。” Capital One高級數據工程師Peter Tyson表示，“現在，隨著(zhù)Amazon QuickSight Q的推出，我們期待著(zhù)讓用戶(hù)能夠輕松、快速地獲得他們臨時(shí)業(yè)務(wù)問(wèn)題的答案。”

　　松下航空電子公司是世界領(lǐng)先的機上娛樂(lè )和通信系統供應商。“我們基于云計算的解決方案收集了大量的匿名數據，這些數據有助于我們優(yōu)化航空公司合作伙伴及其乘客的體驗。”松下航空電子公司云計算運營(yíng)總監Anand Desikan說(shuō)，“我們開(kāi)始使用Amazon QuickSight來(lái)報告機上Wi-Fi性能，憑借其豐富的API、按會(huì )話(huà)付費的定價(jià)以及可擴展的能力，我們迅速將Amazon QuickSight儀表盤(pán)推廣到數百個(gè)用戶(hù)。該平臺的不斷進(jìn)化令人印象深刻：機器學(xué)習驅動(dòng)的異常檢測，Amazon SageMaker集成，報表嵌入，提取主題，跨可視化過(guò)濾，現在有了Amazon QuickSight Q，我們的用戶(hù)只需在搜索欄中輸入業(yè)務(wù)問(wèn)題，Amazon QuickSight Q就能提供消費洞察力，并對業(yè)務(wù)上下文進(jìn)行理解，提供同義詞，并向他們展示答案，無(wú)需復雜的解釋。”

　　Vyaire Medical是一家致力于呼吸護理的全球性公司，它以改善患者的治療效果和為客戶(hù)增加價(jià)值為目標，堅定不移地實(shí)現、改善和延長(cháng)生命。“在不到兩個(gè)月的時(shí)間里，我們就能將舊的 BI 報告工具轉入 Amazon QuickSight。” Vyaire Medical 公司分析與企業(yè)數據管理高級總監 Gopal Ramamurthi 說(shuō)，“我們在管理的便利性方面獲得了很多好處，特別是在擴展規模以支持BI用戶(hù)數量增加時(shí)。現在，隨著(zhù)Amazon QuickSight Q的推出，我們期待讓我們的高管團隊、現場(chǎng)銷(xiāo)售用戶(hù)和制造工廠(chǎng)的主管在儀表盤(pán)中無(wú)法獲得答案時(shí)，可以更輕松地用純英文提出他們的數據問(wèn)題，提供更快的洞察力，幫助我們提高銷(xiāo)售和制造流程的效率。”

　　消息來(lái)源：AWS