深信服創(chuàng)新研究院AI專家孟賓賓
觀點一越來越多的AI應用下沉到邊緣端
孟賓賓首先對AI產(chǎn)業(yè)的發(fā)展進行了分析，他認為當下的AI應用正在逐漸下沉到邊緣端和設備端，而這個趨勢主要有四個驅動因素。
首先，邊緣計算場景的興起會使得AI應用的體驗變得更好。在無人駕駛、語音識別這樣的實時計算場景里，要求AI應用需要達到毫秒級的實時響應，如果不能達到這個要求，則應用就不能落地。采用云端的方案，延遲可能達到數(shù)百毫秒，而下沉到邊緣端則可以做到幾毫秒延遲。
其次，隨著AI場景的數(shù)據(jù)量不斷增加，邊緣到云端的數(shù)據(jù)通信以及對帶寬的要求逐漸加大，有一些任務下沉到本地，會使帶寬的壓力大大減小。
第三，可以解決鏈接問題，通過邊緣將現(xiàn)實生產(chǎn)環(huán)境與數(shù)字化云環(huán)境（私有云）鏈接打通，通過邊緣采集實際生產(chǎn)數(shù)據(jù)做數(shù)據(jù)價值挖掘、數(shù)據(jù)智能模型沉淀，再通過云邊管道注入到邊緣賦能生產(chǎn)，真正形成數(shù)智化落地閉環(huán)，幫助組織加速數(shù)智化落地速度，解決實際問題。
第四，邊緣端的系統(tǒng)部署和維護更簡單，同時邊緣設備的AI能力可以進行動態(tài)擴展。在實際部署環(huán)境中，設備部署完之后可以添加不同AI推理的模型和能力，還可以通過云邊協(xié)同系統(tǒng)，讓它能夠像安裝手機APP一樣，能夠動態(tài)地更新和下載。
第五，下沉到邊緣端后，AI應用的數(shù)據(jù)隱私保護能力可以得到提升。在邊緣端，AI應用的數(shù)據(jù)可以本地采集、本地處理，有效的減少了數(shù)據(jù)暴露在公共網(wǎng)絡的機會，因此大大降低了發(fā)生數(shù)據(jù)安全問題的風險。
觀點二邊緣AI的趨勢與挑戰(zhàn)
在AI技術的發(fā)展和落地方面，孟賓賓也分享了自己的看法。他提出了四個技術發(fā)展趨勢：
- AI框架和AI芯片硬件方案多樣性增加，而且國內(nèi)的服務商在快速崛起；
- AI模型復雜度和業(yè)務數(shù)據(jù)量越來越大，對計算優(yōu)化需求越來越明顯；
- 邊緣AI需求呈碎片化，需要場景化來解決用戶實際問題，單一通用算法難以實現(xiàn)，這就對算法跨場景遷移，多算法的升級部署，算法本身的持續(xù)迭代維護的需求會越來越明顯。
- 場景化的AI+業(yè)務能力也是必須要考慮的一個維度，深入+AI的場景都需要對現(xiàn)場業(yè)務邏輯很好的理解，支撐甚至融合，所以多元數(shù)據(jù)分析及業(yè)務融合也是一個現(xiàn)實需求。
與此同時，要讓邊緣AI遍地開花，需要解決四個方面的挑戰(zhàn)。
首先，軟、硬件異構導致兼容適配難度高。由于底層AI芯片和框架的方案很多，AI應用的開發(fā)者在做軟硬協(xié)同及適配開發(fā)時難度會非常高，場景化多算法注入及協(xié)同則更困難。
其次，邊緣設備資源受限，對性能要求高。相較于中心云服務器，邊緣節(jié)點的資源配置有限，難以運行大而全的復雜模型。將云端訓練好的AI算法模型遷移至資源、算力相對有限的邊緣節(jié)點，算法開發(fā)人員需要做大量模型量化、優(yōu)化以及算子層面的調(diào)整工作，過程繁雜，優(yōu)化效果高度依賴開發(fā)者經(jīng)驗。
第三，邊緣環(huán)境變化導致邊緣AI模型漂移。隨著環(huán)境變化，數(shù)據(jù)分布存在差異，這導致在實驗室采集樣本訓練出的模型在邊緣場景下識別率降低。
第四，邊緣端雖然在數(shù)據(jù)隱私上有較大幫助，但環(huán)境不確定因素導致的安全問題及邊緣設備本體安全也是一個必須要考慮的問題。
這些問題無法解決，邊緣端的AI應用就難以落地。
觀點三云邊協(xié)同的解決之道
孟賓賓在活動現(xiàn)場分享了信服云針對以上挑戰(zhàn)的解決之道——信服云邊緣智能計算平臺。
信服云邊緣智能計算平臺
孟賓賓介紹，目前信服云邊緣智能計算平臺可以接入、管理各種異構的邊緣傳感器設備，并通過邊緣計算一體機結合AI算法在本地進行智能處理，把初步處理的結果數(shù)據(jù)上傳到云端進行應用層面的管理。在這個過程中，邊緣計算應用ISV開發(fā)人員可以通過深信服自研的容器云管平臺對邊緣計算一體機和云端上的任務進行統(tǒng)一編排和調(diào)度。
對于邊緣計算應用ISV開發(fā)人員而言，信服云邊緣智能計算平臺最為核心的能力是，為智能化場景業(yè)務開發(fā)工作提供了一個云邊協(xié)同的智能計算平臺。在這個平臺上，AI數(shù)據(jù)、訓練、邊緣推理計算優(yōu)化和服務部署工具可以形成一個高效地運作的閉環(huán)，AI模型可以被部署到設備上運行，運行過程中又可以指導模型的調(diào)優(yōu)，甚至收集新的增量數(shù)據(jù)。這樣的開發(fā)模式可以大幅提升開發(fā)者的開發(fā)速度，降低開發(fā)門檻，保證開發(fā)質量，同時能夠讓開發(fā)的業(yè)務快速的就緒部署到實際業(yè)務環(huán)境中，形成一個良性閉環(huán)。
“信服云想要打造下一代簡單易用、靈活高性能、結果可信的云邊協(xié)同的算法開發(fā)訓練交付平臺。”孟賓賓在演講最后透露，信服云邊緣智能計算平臺已經(jīng)在一些智慧園區(qū)和智慧交通的場景中進行了應用，并幫助不少AI應用開發(fā)者減少了開發(fā)成本，節(jié)省了邊緣AI應用落地的開發(fā)時間。“未來，信服云邊緣智能計算平臺會面向更多的智慧場景，如：智慧電網(wǎng)、智慧能源、智慧工廠、智慧水利、智慧礦山等場景，面向更廣泛的行業(yè)的AI生態(tài)伙伴以及邊緣計算應用ISV開放。我們希望擁抱整個生態(tài)，和大家一起在人工智能領域，在邊緣計算領域做一些有意義的事情，為更多用戶創(chuàng)造一個簡單、安全、可閉環(huán)、有價值的智能化業(yè)務落地體驗，幫助用戶實現(xiàn)更簡單、更安全的數(shù)字化轉型及智能化升級。”
信服云：助力數(shù)據(jù)中心云化演進 在云計算業(yè)務上，深信服作為成長迅猛的創(chuàng)新云計算廠商，致力于為全球用戶交付省時省事、平滑彈性、安全可靠、業(yè)務承載豐富的數(shù)據(jù)中心云化的優(yōu)選方案及服務，解決用戶數(shù)字化轉型各階段核心問題，解放生產(chǎn)力，專注業(yè)務創(chuàng)新。
