• <strike id="fdgpu"><input id="fdgpu"></input></strike>
    <label id="fdgpu"></label>
    <s id="fdgpu"><code id="fdgpu"></code></s>

  • <label id="fdgpu"></label>
  • <span id="fdgpu"><u id="fdgpu"></u></span>

    <s id="fdgpu"><sub id="fdgpu"></sub></s>
    您當前的位置是:  首頁(yè) > 資訊 > 文章精選 >
     首頁(yè) > 資訊 > 文章精選 >

    30萬(wàn)億實(shí)時(shí)計算背后:騰訊首次揭秘技術(shù)演進(jìn)之路

    2019-11-07 14:43:15   作者:   來(lái)源:CTI論壇   評論:0  點(diǎn)擊:


      同時(shí)擁有多款億量級App、包括最高11億微信用戶(hù)的騰訊,一天會(huì )處理多少實(shí)時(shí)計算次數?
      答案是:30萬(wàn)億。
      有一說(shuō)一,騰訊已經(jīng)成為中國實(shí)時(shí)數據計算量最大的公司。
      騰訊云聯(lián)合內部打造一套算力共享平臺,該算力彈性資源池有20萬(wàn)的規模,大數據平臺每天有1500萬(wàn)的分析任務(wù)、30萬(wàn)億次的實(shí)時(shí)計算量,并且每天數據接入條數達35萬(wàn)億條數據。騰訊云自身的分布式機器學(xué)習平臺,則能支撐1萬(wàn)億維度的數據訓練。
      走到這一步,騰訊大數據能力在十年間進(jìn)行了四次大規模升級。自研,正在成為騰訊的關(guān)鍵詞。
      十年前,騰訊管理幾百個(gè)節點(diǎn)都很困難,為了有效解決計算能力和大規模集群?jiǎn)?wèn)題,騰訊自研調度器,相對原生調度器性能提升150倍,大大提升了集群可擴展性。
      2016年,騰訊打破Sort Benchmark四項世界紀錄,標志著(zhù)算力已經(jīng)達到世界領(lǐng)先水平。
      由于騰訊20萬(wàn)臺彈性資源池的機器分布在多個(gè)數據中心,不同地區甚至不同國家,為了降低數據使用壁壘,騰訊在2018年自研了漂移計算引擎SuperSQL。
      作為統一的數據分析入口,SuperSQL通過(guò)智能CBO優(yōu)化器,將計算下推到分布在各地的異構數據源,數據分析性能提高N倍,且數據量越大優(yōu)勢越明顯。
      隨著(zhù)模型的增大,最初用來(lái)做數據訓練的MR、Spark已經(jīng)不能滿(mǎn)足上億的模型維度的需求。2015年初,騰訊開(kāi)始自研高性能的分布式機器學(xué)習平臺Angel,采用PS架構,能支持10億維度。
      目前Angel發(fā)展到3.0版本,能支持萬(wàn)億維度,也可以兼容Spark、PyTorch、TensorFlow等生態(tài),進(jìn)一步降低了使用門(mén)檻。此外,Angel今年還新增了對深度學(xué)習、圖計算等的支持。
      騰訊云副總裁、騰訊數據平臺部總經(jīng)理蔣杰
      目前,騰訊正在研究以批流融合、ABC融合、以及數據湖和聯(lián)邦學(xué)習為方向的下一代大數據平臺的研究,該平臺將具備混合部署、跨域數據共享和邊緣計算等能力。
      而支撐起這種量級的計算(短短5、6年時(shí)間增長(cháng)了幾千倍)背后,是騰訊在基礎設施上的不斷演進(jìn)。
      在Techo大會(huì )現場(chǎng),騰訊首次全面披露了20年來(lái)基礎設施方面的技術(shù)積累:
      騰訊云副總裁、云架構平臺部總經(jīng)理謝明
      服務(wù)器
      騰訊全網(wǎng)服務(wù)器總量超過(guò)100萬(wàn)臺,是中國首家服務(wù)器總量超過(guò)百萬(wàn)的公司,也是全球五家服務(wù)器數量過(guò)百萬(wàn)的公司之一。
      經(jīng)過(guò)早年使用通用服務(wù)器到定制服務(wù)器,騰訊現已推出自研服務(wù)器——星星海
      星星海采用可信鏈傳遞的硬件防篡改能力、先進(jìn)的熱虹吸管散熱技術(shù)以及精細化的風(fēng)道設計和風(fēng)扇控制,實(shí)現了TCO降低30%、負載能效提升50%、實(shí)例綜合性能提升35%。
      數據中心
      第四代數據中心T-Block按照搭積木的方式,實(shí)現了全數據中心的模塊化配置及快速建設,相比于傳統大規模數據中心,現場(chǎng)施工周期縮短一半,自然冷卻技術(shù)可以將PUE降低至業(yè)界領(lǐng)先的1.2以下。
      采用T-Block方案,一個(gè)擁有30萬(wàn)臺服務(wù)器的園區一年可節省2.5億度電。
      網(wǎng)絡(luò )
      騰訊已經(jīng)與全球超過(guò)100家運營(yíng)商建立了網(wǎng)絡(luò )互連。
      基于SDN和NFV自研分布式路由器集群替換傳統商業(yè)大型路由器,騰訊實(shí)現全網(wǎng)所有的軟件路由器的集中管控,能做到根據目的IP做單個(gè)用戶(hù)的流量調度;通過(guò)構建開(kāi)放光網(wǎng)絡(luò ),基于SONiC自研交換機等,將網(wǎng)絡(luò )設備TCO下降20%+。
      計算
      騰訊云云計算操作系統VStation目前做到了每分鐘交付千臺虛擬機的能力,使得一個(gè)中等規模公司的計算需求可以快速得到滿(mǎn)足。同時(shí),騰訊通過(guò)DPDK、智能網(wǎng)卡等軟硬件方案,將網(wǎng)絡(luò )、存儲等IO消耗卸載到硬件上,實(shí)現了虛擬機零損耗和虛擬機之間的零干擾。
      存儲
      騰訊云對象存儲COS實(shí)現了集群全體節點(diǎn)參與系統吞吐,磁盤(pán)利用率達到90%以上,同時(shí)系統的完全自治也大幅降低了運維的人工投入。
      數據庫
      從最早的MySQL開(kāi)始,經(jīng)歷QQ、Q-zone等業(yè)務(wù)爆發(fā)增長(cháng)的騰訊逐漸選擇了數據庫自研路線(xiàn)。
      目前,騰訊云也通過(guò)開(kāi)源托管、商業(yè)合作、自主研發(fā)三管齊下,提供了接近20種數據庫產(chǎn)品,讓用戶(hù)從選云、上云、用云全流程暢通無(wú)阻。
      開(kāi)源
      騰訊正在成為大數據領(lǐng)域開(kāi)源最全面的公司。
      在現場(chǎng),騰訊正式對四大重點(diǎn)開(kāi)源項目進(jìn)行了聯(lián)合發(fā)布,包括:
    • 分布式消息中間件TubeMQ:業(yè)界延遲最低的一款開(kāi)源消息中間件,延遲可低至5ms。
    • Kona JDK:在云場(chǎng)景下,JVM的啟動(dòng)速度最高能夠提升到40%左右。
    • 分布式HTAP數據庫 TBase:兼容SQL標準,提供完整的分布式事務(wù)能力,金融級數據容災。
    • 企業(yè)級容器平臺TKEStack:穩定管理萬(wàn)級別的Kubernetes 集群,并且提供全方位的資源管控,解決網(wǎng)絡(luò )帶寬控制、磁盤(pán) IO 等難題。
      截至目前,騰訊已經(jīng)在Github上已經(jīng)開(kāi)源了86個(gè)項目,超過(guò)1000個(gè)貢獻者參與了開(kāi)源貢獻,擁有超過(guò)25萬(wàn)個(gè)Star數。騰訊在Github全球公司貢獻榜上排名前十,并已成為Apache基金會(huì )、 Linux基金會(huì )以及Openstack國際三大基金會(huì )的頂級白金贊助商,國內尚屬首家。
      “代碼是一個(gè)最沒(méi)有國界的語(yǔ)言。“Show me the code”,現在你只要展示出代碼,大家就知道你想表達什么東西。
    —— 騰訊公司副總裁、騰訊云總裁邱躍鵬
      在現場(chǎng),邱躍鵬帶來(lái)了騰訊對云計算未來(lái)趨勢的三大思考:
    • 軟硬件一體化(Cloud Native Hardware):隨著(zhù)云計算承載的業(yè)務(wù)規模越來(lái)越大,軟件和硬件的結合成為剛需。
    • 無(wú)服務(wù)器計算(Serverless):把開(kāi)發(fā)者從繁瑣、冗雜的開(kāi)發(fā)配置工作中解放出來(lái),開(kāi)發(fā)者只需關(guān)注自己的業(yè)務(wù)邏輯。
    • 智能化(Smart):隨之而來(lái)的數據量不斷增長(cháng),對算力的要求越來(lái)越高,人工智能成為開(kāi)發(fā)者們必須關(guān)注和應用的技術(shù)。
      騰訊云的基礎產(chǎn)品也在朝極致彈性的方向努力。
      騰訊云打造的第三代通用計算平臺「無(wú)服務(wù)函數計算」,能夠提供更好的彈性能力,真正意義上做到資源使用率100%,用戶(hù)相應成本下降50%以上。
      通過(guò)函數并發(fā)監控數據實(shí)時(shí)計算,提前擴容,我們使函數冷啟動(dòng)率降低到萬(wàn)分之一以?xún)取W匝械妮p量級虛擬化技術(shù),能在35ms內啟動(dòng)一臺虛擬機,創(chuàng )造了業(yè)界目前能最快啟動(dòng)一臺虛擬機的記錄,這一技術(shù)還被穩定應用于“小程序·云開(kāi)發(fā)”。
      騰訊云對象存儲COS還提供了不同地域不同計費的方式,用戶(hù)根據使用場(chǎng)景,按需選擇最劃算的方案。
      數據庫產(chǎn)品CynosDB則基于計算存儲解耦架構,支持超大實(shí)例并實(shí)現更好的彈性能力。單實(shí)例最多可以達到百TB級別,而多計算節點(diǎn)間的存儲共享,可以使同一實(shí)例的計算節點(diǎn)擴展到15個(gè)。
      截至目前,騰訊云已經(jīng)服務(wù)了數百萬(wàn)開(kāi)發(fā)者,給到開(kāi)發(fā)者的資源扶持超過(guò)100億元。
      今天,用云、上云已經(jīng)變成大勢所趨,更有越來(lái)越多的產(chǎn)品,直接在云中誕生、在云中生長(cháng),云計算基礎架構在一切背后、更在一切之前。我們期待與所有的云上開(kāi)發(fā)者一同成長(cháng),共創(chuàng )未來(lái)!來(lái)源:騰訊云

     
    【免責聲明】本文僅代表作者本人觀(guān)點(diǎn),與CTI論壇無(wú)關(guān)。CTI論壇對文中陳述、觀(guān)點(diǎn)判斷保持中立,不對所包含內容的準確性、可靠性或完整性提供任何明示或暗示的保證。請讀者僅作參考,并請自行承擔全部責任。

    專(zhuān)題

    CTI論壇會(huì )員企業(yè)

    亚洲精品网站在线观看不卡无广告,国产a不卡片精品免费观看,欧美亚洲一区二区三区在线,国产一区二区三区日韩 长岛县| 临清市| 大悟县| 灵璧县| 屯留县| 焦作市| 高台县| 石景山区| 祁阳县| 社会| 巍山| 黑山县| 绩溪县| 安义县| 黄冈市| 鄂伦春自治旗| 金沙县| 章丘市| 石城县| 武安市| 金乡县| 珠海市| 正宁县| 蛟河市| 荆门市| 温宿县| 永济市| 佛山市| 西昌市| 岫岩| 涟水县| 许昌县| 宁南县| 宜昌市| 宜州市| 哈密市| 泸州市| 山阴县| 舟山市| 敖汉旗| 兴和县| http://444 http://444 http://444 http://444 http://444 http://444