我們先來(lái)看兩個(gè)案例:
用戶(hù)A
隨著(zhù)其業(yè)務(wù)數據規模達到數百TB,日增長(cháng)量為1TB左右,原有的大數據處理方案每月需投入大數據工程師20個(gè)人日,平均每次需求處理時(shí)長(cháng)為1.8天,且額外花費數千元維持一個(gè)數據倉庫集群。
通過(guò)采用Serverless的SQL分析計算引擎,任務(wù)周期縮短55.6%、分析效率提升5倍、大數據工程師投入降為0、計算成本降低97.5%。
用戶(hù)B
電商是有著(zhù)明顯波峰的應用場(chǎng)景,尤其是雙十一之類(lèi)的大促,在往年的時(shí)候用戶(hù)需要提前幾個(gè)星期進(jìn)行擴容、壓力測試。即使有云主機鏡像和Ansible等可以減輕部署壓力,但仍然相當麻煩,需要人工手動(dòng)去調整配置等。
使用基于Kubernetes的容器管理服務(wù)(UK8S)后,用戶(hù)可以一鍵擴容集群且擴容的節點(diǎn)無(wú)需單獨配置,幾天時(shí)間就可以完成壓測,效率提升了將近10倍。
從之前的容器到當前熱門(mén)的Kubernetes、Serverless、微服務(wù)等,新技術(shù)的每一次出現,都是一場(chǎng)關(guān)于效率提升的革命。
為了保障企業(yè)更高效率部署業(yè)務(wù),更快實(shí)現持續交付、灰度發(fā)布、應用編排等訴求, UCloud(優(yōu)刻得)做了哪些新技術(shù)上的突破和產(chǎn)品上的創(chuàng )新?
5月28日,UCloud用戶(hù)大會(huì )暨Think in Cloud 2019北京 技術(shù)專(zhuān)場(chǎng)A將針對企業(yè)云上效率提升帶來(lái)更多前瞻性的思考和實(shí)踐案例分享。

一、效率提升是企業(yè)上云的永恒主題
企業(yè)上云本質(zhì)上說(shuō)是為了提升效率,而效率包含開(kāi)發(fā)效率、運維效率和運營(yíng)效率等。通常開(kāi)發(fā)一個(gè)典型的服務(wù)器端項目需要企業(yè)的技術(shù)人員花大量時(shí)間處理依賴(lài)線(xiàn)程、日志、開(kāi)發(fā)、部署及維護等相關(guān)工作。
以下壁壘可能在企業(yè)IT基礎設施部署中很常見(jiàn):
- 業(yè)務(wù)高峰期波動(dòng)的突發(fā)狀況需要緊急擴容,運維人員被迫緊急申請機器,但是新機器需要進(jìn)行環(huán)境初始化和相關(guān)配置,從而導致運維效率非常低;
- 應用發(fā)布時(shí)間很長(cháng),主要是因為發(fā)布過(guò)程中需要做隔離、恢復等動(dòng)作,還需要登錄查看實(shí)際狀態(tài)、日志;
- 由于應用運行環(huán)境的軟件版本不一致導致的配置復雜問(wèn)題,維護成本也比較高;
- 硬件資源利用率很低,總體運營(yíng)成本比較高……
在競爭激烈的互聯(lián)網(wǎng)時(shí)代,效率代表了企業(yè)的核心競爭力,如何幫助用戶(hù)解決這些實(shí)際場(chǎng)景中遇到的效率低下的運維開(kāi)發(fā)難題,對云服務(wù)商來(lái)說(shuō),也是技術(shù)實(shí)力的直接表現。
二、一站式云上Kubernetes服務(wù)是怎樣煉成的
我們知道Docker的核心價(jià)值是加快軟件交付的效率、提高生產(chǎn)力,實(shí)現了應用與運行環(huán)境的解耦。很多業(yè)務(wù)應用負載都可以進(jìn)行容器化,而Kubernetes的流行是因為它作為容器集群管理的方案,提供容器應用部署、規劃、更新、維護的成熟機制,實(shí)現了資源編排調度與底層基礎設施的解耦。
基于Kubernetes自動(dòng)化部署、彈性伸縮和容器化等特性,UCloud精心打造了一站式的Kubernetes服務(wù)(UK8S)。
開(kāi)發(fā)者可以直接在UK8S上部署、管理、擴展容器化應用,而無(wú)需關(guān)心Kubernetes集群的搭建及維護等運維類(lèi)工作,很大程度上提升了開(kāi)發(fā)者的運維效率。
由于Kubernetes是開(kāi)源的容器編排系統,僅提供一些網(wǎng)絡(luò )規范和開(kāi)放的接口,UCloud在結合自身云平臺特性進(jìn)行研發(fā)時(shí),遇到過(guò)很多問(wèn)題,如——
如何使UK8S容器應用擁有與云主機間等同的網(wǎng)絡(luò )性能(目前最高可達10Gb/s,100萬(wàn)pps)并打通容器和物理云/托管云的網(wǎng)絡(luò )?
怎樣解決在Kubernetes迭代升級過(guò)程中出現的一些異常和難題?

三、基于Serverless的數據分析實(shí)踐
如果說(shuō)Kubernetes專(zhuān)注提升容器集群的運維管理效率,那么Serverless(無(wú)服務(wù)器架構)則從根源上擺脫服務(wù)器的運維難題,使計算資源作為服務(wù)而不是服務(wù)器的概念出現,從而將開(kāi)發(fā)人員的效率最大化。
Serverless架構可以讓開(kāi)發(fā)人員直接在服務(wù)部署級別來(lái)管理應用,通過(guò)調用某個(gè)具體功能函數或API端口,不僅有效降低了開(kāi)發(fā)成本,同時(shí)使應用的運維過(guò)程變得更加高效,讓技術(shù)團隊更專(zhuān)注于應用系統的開(kāi)發(fā)。
Serverless架構帶給用戶(hù)的高效率、低開(kāi)發(fā)成本等優(yōu)勢使其成為各主流云廠(chǎng)商的發(fā)展方向之一,而UCloud早在2017年就推出了基于Serverless架構的UGC(通用計算)產(chǎn)品。
它是一種無(wú)需管理服務(wù)器的大規模分布式并行計算服務(wù),用戶(hù)只需要將集成了代碼的docker鏡像上傳至UGC鏡像倉庫,便可通過(guò)API多次提交針對該鏡像的計算任務(wù)。
2018年10月份UCloud又發(fā)布了一款基于Serverless的SQL分析計算引擎USQL(數據湖分析),企業(yè)無(wú)需數據庫管理員和運維人員即可完成面向海量數據的數據建模、SQL數據查詢(xún)分析等工作。
愛(ài)普新媒使用USQL之后在效率上提升了50%數據分析速度,同時(shí)節省80%的服務(wù)器成本。

針對企業(yè)大數據分析業(yè)務(wù)場(chǎng)景,UCloud是如何通過(guò)Serverless架構實(shí)現USQL產(chǎn)品的蛻變?在這個(gè)過(guò)程中遇到過(guò)哪些技術(shù)挑戰?
除了在Kubernetes和Serverless方向的一些落地實(shí)踐外,技術(shù)專(zhuān)場(chǎng)A還將帶來(lái)更多技術(shù)干貨——
電商大促、動(dòng)畫(huà)渲染等場(chǎng)景下快速批量創(chuàng )建云主機的背后,UCloud對主機后臺做了哪些技術(shù)優(yōu)化?
在實(shí)際的業(yè)務(wù)場(chǎng)景中要實(shí)現某一個(gè)業(yè)務(wù)邏輯,原先單人要花一天時(shí)間基于SDK開(kāi)發(fā)并且要構建服務(wù)端邏輯(server),如何通過(guò)StepFlow降低到一小時(shí)且無(wú)需server?當業(yè)務(wù)邏輯流程需要改變時(shí),如何通過(guò)StepFlow快速應對?
關(guān)于以上諸多問(wèn)題的解決和探討,歡迎掃描下方二維碼或點(diǎn)擊“閱讀原文”參會(huì ),Get云計算最新技術(shù)秘籍!
