Adlik是由中興通訊在Linux基金會人工智能&數(shù)據(jù)基金會(LF AI & Data)發(fā)起的開源項目,旨在提升深度學習、機器學習等模型在各種硬件平臺下的推理效率,助力人工智能在云、邊、端等多種場景快速落地。
對異構硬件的推理支持是Adlik的核心亮點之一。目前人工智能推理芯片處于百花齊放的狀態(tài),不同芯片之間的架構差異導致推理引擎也層出不窮。利用Adlik,可快速實現(xiàn)各種主流深度學習框架所訓練出的模型在多種不同硬件環(huán)境中的高效統(tǒng)一部署,引入云燧i20使得 Adlik的適用場景得以進一步拓展。
云燧i20是由燧原科技打造的面向數(shù)據(jù)中心的第二代人工智能推理加速卡,具有高性能高能效、模型覆蓋面廣、易部署易運維等特點,結合燧原科技推出的鑒算TopsInference推理引擎,能夠為深度學習應用提供低延遲、高吞吐率的推理性能。
Adlik能夠充分發(fā)揮云燧i20性能優(yōu)勢,同時提升在云燧i20上部署AI模型的易用性。首先Adlik編譯器會將深度學習模型轉化為云燧i20可支持并優(yōu)化的模型表示,然后由Adlik推理引擎為其自動匹配加載插件式的推理運行,以實現(xiàn)模型的版本管理、運行調度,為人工智能應用提供滿足性能要求的推理服務。此外,由Adlik提供統(tǒng)一的推理接口,模型也可以從其它硬件快速、無縫遷移到云燧i20。
近年來我國的AI新基建蓬勃發(fā)展,AI開源框架、加速芯片、開放平臺等呈現(xiàn)百花齊放的態(tài)勢,為國內(nèi)的數(shù)字化轉型提供了有力支撐。Adlik作為深度學習模型推理領域的端到端工具鏈,也加快了構建國內(nèi)技術生態(tài)的腳步,本次和云燧i20的合作是Adlik打造我國AI生態(tài)鏈的又一次嘗試。
中興通訊Adlik開源項目首席架構師劉濤表示:“中興通訊開源Adlik社區(qū),期望可以引領建設融合的AI生態(tài)圈,使用統(tǒng)一的工具鏈打通不同框架和硬件相互割裂的生態(tài)現(xiàn)狀,從而真正實現(xiàn)高效率、低成本的AI應用落地。這次Adlik與燧原科技的云燧i20成功合作,就是基于生態(tài)建設思想的一次有力實踐,后續(xù)期待雙方在深度學習模型訓練、優(yōu)化、編譯、部署等關鍵技術上展開合作,助力不同行業(yè)智慧化轉型,有力推動數(shù)字經(jīng)濟發(fā)展”。
燧原科技軟件生態(tài)負責人李彬表示“構建開放和軟硬協(xié)同的生態(tài)環(huán)境,是推動人工智能產(chǎn)業(yè)快速發(fā)展的戰(zhàn)略路徑。燧原科技的云燧i20與中興通訊Adlik的合作,是AI芯片與工具鏈軟件生態(tài)在推理業(yè)務領域的深度融合,可以充分發(fā)揮人工智能基礎設施的整體效能,加快人工智能應用場景的落地,打造數(shù)字化經(jīng)濟。”