ONNX（Open Neural Network Exchange）是2017年9月由微軟與Facebook、AWS共同創(chuàng )立的開(kāi)放神經(jīng)網(wǎng)絡(luò )格式交換計劃，其目的是提高神經(jīng)網(wǎng)絡(luò )軟件之間的互操作性，也就是可以用不同的神經(jīng)網(wǎng)絡(luò )框架開(kāi)發(fā)軟件，但經(jīng)過(guò)ONNX的格式交換后就可以轉換成通用軟件運行在Windows、Linux以及蘋(píng)果OS硬件及云服務(wù)之上。ONNX吸引了AMD、ARM、NVIDIA、INTEL、高通、華為、HPE、IBM等芯片及服務(wù)器巨頭，以及百度、騰訊、阿里等互聯(lián)網(wǎng)巨頭，還有MathWork、CEVA、Synopsys等專(zhuān)業(yè)軟件和集成電路公司等20家全球企業(yè)。
2018年3月，微軟宣布將在下一個(gè)Windows版本中原生支持ONNX硬件加速功能，這把ONNX推向了上億的Windows設備，包括IoT邊緣設備、HoloLens、2合1筆記本以及桌面PC等。這意味著(zhù)數據科學(xué)家和開(kāi)發(fā)者用Facebook、AWS、BAT等公司的深度神經(jīng)網(wǎng)絡(luò )框架所開(kāi)發(fā)的模型，可以直接部署到上億的Windows設備中。ONNX還原生支持Linux Ubuntu虛機、Azure ML服務(wù)、Windows Server 2019虛機，并通過(guò)轉換程序連接蘋(píng)果等設備。
2018年11月26日，ONNX研討會(huì )首次來(lái)到中國。微軟項目總經(jīng)理Venky Veeraraghavan在2018 ONNX中國研討會(huì )后接受采訪(fǎng)時(shí)表示：AI想要成功，必須要軟件和硬件兩手抓，兩手都要硬。這可以類(lèi)比商用操作系統的思路：一處開(kāi)發(fā)的應用軟件，可以處處運行在不同硬件上。
打通人工智能落地最后一公里
微軟項目總經(jīng)理Venky Veeraraghavan
人工智能已經(jīng)成為新一輪科技革命和產(chǎn)業(yè)變革的核心驅動(dòng)力，正在對世界經(jīng)濟、社會(huì )進(jìn)步和人類(lèi)生活產(chǎn)生深刻的影響。普化永道曾預測，由人工智能所帶來(lái)的全球GDP增長(cháng)，將在2030年達到14%，即15.7萬(wàn)億美元。但Gartner的2018年CIO議程調查卻顯示，全球僅有4%的CIO實(shí)施了人工智能項目，盡管還有46%的CIO已經(jīng)開(kāi)發(fā)了人工智能相關(guān)計劃。
換句話(huà)說(shuō)，人工智能在落地方面還遇到很多挑戰，其中之一就是不同深度神經(jīng)網(wǎng)絡(luò )框架之間缺乏互操作性。簡(jiǎn)單理解，用一種深度神經(jīng)網(wǎng)絡(luò )框架訓練出的模型，并不能直接用在其它神經(jīng)網(wǎng)絡(luò )框架所支持的運行平臺（即推理平臺），例如Caffe2訓練出的模型僅能運行在Caffe2支持的硬件上，這相當于間接創(chuàng )造了人工智能的“孤島”。而開(kāi)源的神經(jīng)網(wǎng)絡(luò )框架都多少種呢？主流的開(kāi)源神經(jīng)網(wǎng)絡(luò )框架至少有十余種。
除了神經(jīng)網(wǎng)絡(luò )框架之間的差異化處，神經(jīng)網(wǎng)絡(luò )軟件如果想要運行的好，還需要與不同硬件系統之間的打磨。NVIDIA GPU、Intel CPU等都提供了神經(jīng)網(wǎng)絡(luò )的硬件加速功能，HPE、華為、IBM等Linux和Windows服務(wù)器以及微軟的Windows設備等，都需要在芯片、板卡和操作系統及應用軟件之間進(jìn)行整體優(yōu)化，才能達到流暢的人工智能應用運行效果。
Venky Veeraraghavan表示：“在談到深度學(xué)習的時(shí)候，會(huì )涉及到海量的數據處理，這就意味著(zhù)需要有極高速或者可加速的硬件設備。但開(kāi)發(fā)者會(huì )遇到不同的硬件接口、不同的界面和不同的格式，這是很困擾的事情。ONNX在硬件和軟件之間提供了通用的語(yǔ)言和界面，讓硬件和應用軟件有機結合起來(lái)，運行在任何地方。”
微軟ONNX技術(shù)進(jìn)展
ONNX帶來(lái)的互操作性可以讓各種開(kāi)發(fā)創(chuàng )意更快速地投入生產(chǎn)環(huán)境。利用ONNX，數據科學(xué)家可以為其工作選擇最適合的框架，而開(kāi)發(fā)者花費更少的時(shí)間就能訓練出適合生產(chǎn)環(huán)境的機器學(xué)習模型，并且將其部署到云端或者是邊緣。同時(shí)，ONNX也使得開(kāi)發(fā)者能更靈活地在不同框架間切換，為不同的場(chǎng)景選擇最佳的深度學(xué)習模型。
目前，在多種人工智能開(kāi)發(fā)框架中都能創(chuàng )建ONNX模型，包括PyTorch、Chainer、CNTK、MXNet、ML.Net、TensorFlow、Keras、SciKit-Learn，還在不斷增加。此外，為ONNX模型實(shí)現可視化和加速的開(kāi)發(fā)工具生態(tài)系統也已初具規模，已經(jīng)出現了針對典型場(chǎng)景預先訓練的ONNX模型。2018 年 9 月，ONNX 社區發(fā)布了 1.3 版本的模型標準。
作為ONNX的主要支持者，微軟的主流產(chǎn)品，包括Bing、廣告、Office、視覺(jué)服務(wù)等，后臺都開(kāi)始采用ONNX格式。2018年10月，微軟發(fā)布了ONNX Runtime運行時(shí)預覽版，這是一個(gè)高性能的機器學(xué)習推理引擎，可以用最有效的方式利用各種芯片加速器，從而實(shí)現跨多種硬件平臺和設備運行神經(jīng)網(wǎng)絡(luò )算法的結果。
微軟ONNX Runtime兼容ONNX 1.2版本，自帶支持CPU和GPU的Python包，可在A(yíng)zure機器學(xué)習服務(wù)或任何運行Ubuntu 16的Linux設備上進(jìn)行推理運算。ONNX Runtime的發(fā)布進(jìn)一步擴展了微軟對ONNX的支持，除了讓ONNX模型推理可以在多種平臺和設備上運行外，ONNX Runtime全面覆蓋和支持ONNX定義的所有運算符，能為一系列不同平臺和硬件的組合提供多種定制化的加速器，從而保證推理運算的最佳性能表現。INTEL、NVIDIA都在積極將ONNX Runtime整合到硬件加速器中，目前INTEL的MKL-DNN、nGraph編譯器以及NVIDIA優(yōu)化的TensorRT推理引擎都已完成整合。
在2018年3月發(fā)布的Windows機器學(xué)習（Windows ML）為ONNX提供了操作系統層面的支持。通過(guò)Windows ML，開(kāi)發(fā)人員可以在云服務(wù)中訓練模型并將其導出為ONNX格式，之后就可以通過(guò)Visual Studio在Windows應用程序中內置ONNX模型。現在，Windows ML可利用任何支持DirectX的GPU為其提供硬件加速，從服務(wù)器到物聯(lián)網(wǎng)的各個(gè)版本的Windows都能提供這項功能。
ONNX模型可以通過(guò)Azure 機器學(xué)習（Azure ML）、ONNX Runtime和Windows 機器學(xué)習等方式部署到Azure云中、Windows 10設備、Linux設備或使用ONNX社區提供的轉換器部署到其它平臺。在通過(guò)ONNX建設開(kāi)放互操作人工智能生態(tài)系統的同時(shí)，微軟也在將Azure打造成最佳人工智能云平臺，從預先訓練好的模型到幫助構建模型的云服務(wù)，Azure提供了完善的機器學(xué)習平臺。
為了簡(jiǎn)化語(yǔ)音、視覺(jué)、語(yǔ)言相關(guān)機器學(xué)習解決方案的開(kāi)發(fā)，微軟在認知服務(wù)中提供了一系列強大的預訓練模型。微軟在云端提供了多樣化的機器學(xué)習服務(wù)，從Azure Databricks、Azure機器學(xué)習服務(wù)到機器學(xué)習虛擬機，可以滿(mǎn)足不同規模的使用需求。為了幫助開(kāi)發(fā)者更快速地構建和訓練模型，微軟還提供了大規模GPU集群上的分布式深度學(xué)習能力。一旦完成了模型的訓練，開(kāi)發(fā)者可以自由選擇部署到本地、云端，或者是包括離線(xiàn)環(huán)境在內的邊緣環(huán)境中。
除了ONNX Runtime，微軟也發(fā)布了ONNX.JS，讓web開(kāi)發(fā)者可以直接在瀏覽器中運行訓練好的ONNX模型，不但能夠減少服務(wù)器到端的通信需求、保護用戶(hù)隱私，還提供了免安裝、跨平臺的瀏覽器內置機器學(xué)習體驗。ONNX.JS支持CPU和GPU運行，可以借助一系列優(yōu)化技術(shù)減少CPU和GPU間的數據傳輸，減少GPU處理的循環(huán)次數，從而將性能最大化。
開(kāi)放標準需要中國的參與
微軟人工智能平臺團隊首席項目經(jīng)理Prasanth Pulavarthi
對微軟而言，ONNX研討會(huì )在中國的落地不僅能夠讓中國的開(kāi)發(fā)者和企業(yè)獲得更加方便的深度學(xué)習框架格式，同時(shí)也能為ONNX創(chuàng )造更大的發(fā)展空間。
Veeraraghavan表示：“在開(kāi)源標準的范疇之下，如果沒(méi)有中國的參與，沒(méi)有中國企業(yè)的采納，實(shí)際上是沒(méi)有意義的，因為很難想象某個(gè)開(kāi)源標準僅僅是美國標準而沒(méi)有得到中國的認可和采納，這也是我們?yōu)槭裁椿ㄙM時(shí)間和精力來(lái)中國組織ONNX活動(dòng)的原因。我們希望借此機會(huì )將中國本地的伙伴和客戶(hù)都吸引到ONNX聯(lián)盟中，最終實(shí)現一個(gè)統一的、開(kāi)放的軟件平臺和標準，讓各種不同的神經(jīng)網(wǎng)絡(luò )模型可以處處運行。”
據微軟人工智能平臺團隊首席項目經(jīng)理Prasanth Pulavarthi介紹，有超過(guò)20多家相關(guān)的中國企業(yè)和合作伙伴來(lái)到首屆中國ONNX研討會(huì )，就重要的技術(shù)發(fā)展方向以及具體規則或者標準制訂進(jìn)行了探討。“阿里巴巴、騰訊、華為和百度等都已經(jīng)加入了ONNX，這是非常有意義的，中國將在ONNX的工作中發(fā)揮重要作用。”Pulavarthi表示。
現在ONNX并不能解決所有的痛點(diǎn)和問(wèn)題，但處在快速發(fā)展和成熟當中，隨著(zhù)市面上越來(lái)越多的神經(jīng)網(wǎng)絡(luò )模型出現以及越來(lái)越多的客戶(hù)在使用，為ONNX提供了學(xué)習、反饋、總結的機會(huì )。Pulavarthi強調，ONNX的工作也不能憑借微軟一己之力完成，更多是一個(gè)社區的共同努力，ONNX本身就是以社區開(kāi)展工作的聯(lián)盟，IBM、Facebook等都貢獻了轉化器。
ONNX在中國的落地不僅要吸引中國的大小企業(yè)，還要有政府以及大學(xué)學(xué)界的關(guān)注和參與。“總而言之我們的目的就是希望為整個(gè)AI的世界搭建一個(gè)統一、開(kāi)放的平臺，讓所有各方都有機會(huì )真正參與進(jìn)來(lái)。”Veeraraghavan強調。
微軟對ONNX的“愛(ài)”是真愛(ài)。除了把上億Windows設備以及Windows產(chǎn)品與服務(wù)都貢獻出來(lái)，微軟還投入真金白銀和時(shí)間精力，搭建起了一個(gè)團隊負責在中國AI開(kāi)源社區進(jìn)行推廣。該團隊負責人、微軟中國人工智能產(chǎn)品部主管唐猛表示，“接下來(lái)微軟會(huì )在ONNX推廣、宣傳、社區關(guān)系建設方面有較大的投入。我們的工作還在起步階段，在未來(lái)將會(huì )聽(tīng)到更多關(guān)于微軟在A(yíng)I開(kāi)源社區方面投入的消息。”
