科大訊飛的數據平臺架構和重點(diǎn)
談到人工智能，不得不提深度學(xué)習，如今通過(guò)深度學(xué)習技術(shù)來(lái)實(shí)現人工智能，已成為業(yè)界普遍接受的共識。深度學(xué)習概念，在上個(gè)世紀80年代就已經(jīng)被提出，但直到近些年才真正得以重視和應用，其背后是因為深度學(xué)習所依賴(lài)的兩大要素(海量被標記的數據和強大的算力)成為現實(shí)，人工智能實(shí)質(zhì)上變成了對數據的處理和計算的科學(xué)。科大訊飛人工智能的數據處理，也采用了業(yè)界主流的處理流程，可以通過(guò)下面的圖示來(lái)描述：
在整個(gè)數據處理過(guò)程中，不同階段所使用的技術(shù)，以及這些技術(shù)對數據訪(fǎng)問(wèn)的要求都有差別。數據處理的各個(gè)階段及每個(gè)階段對數據的訪(fǎng)問(wèn)特點(diǎn)如下圖所示：
在數據準備階段，科大訊飛采用Hadoop等大數據技術(shù)對數據進(jìn)行清洗;模型訓練階段是整個(gè)處理過(guò)程的核心，它負責從海量數據的特征中通過(guò)深度學(xué)習算法，獲得可交付的模型，用于人工智能產(chǎn)品和方案中。
科大訊飛的基礎架構團隊，需要為各個(gè)人工智能團隊及業(yè)務(wù)部門(mén)提供穩定、高性能的訓練存儲平臺，同時(shí)管理近千臺高性能GPU服務(wù)器，訓練使用的存儲平臺性能如何，直接影響業(yè)務(wù)部門(mén)的訓練效率，是整個(gè)數據處理流程的重中之重，也是優(yōu)化訓練平臺的切入點(diǎn)。
為了滿(mǎn)足眾多人工智能業(yè)務(wù)部門(mén)訓練的需要，科大訊飛用于模型訓練的數據平臺必須具備以下特性：
- 保證高帶寬、低延時(shí)的讀寫(xiě)特性，從而為GPU服務(wù)器提供足夠的數據輸入，確保GPU的高效使用
- 支持十億級別的小文件及部分大文件混合的讀寫(xiě)場(chǎng)景，滿(mǎn)足大量特征文件或聚合后的文件存儲需求
- 上層訓練模型使用標準文件接口訪(fǎng)問(wèn)數據
- 能支持數千臺高性能計算節點(diǎn)的并發(fā)訪(fǎng)問(wèn)
- 為逐步容器化的訓練任務(wù)提供無(wú)縫數據訪(fǎng)問(wèn)能力
為什么選擇YRCloudFile
作為訓練的數據平臺
焱融科技和科大訊飛從2019年開(kāi)始，就進(jìn)行了多次的交流和實(shí)際測試。科大訊飛的技術(shù)團隊對訓練使用的存儲平臺選型非常重視，最為關(guān)注的是數據平臺的實(shí)際性能，包括大文件的隨機讀寫(xiě)、小文件的讀寫(xiě)性能;海量元數據的操作性能(creation、stat、removal等);海量文件的支持，以及在海量文件的背景下，數據訪(fǎng)問(wèn)和操作性能是否保持一致;存儲平臺的穩定性;在故障場(chǎng)景，尤其是元數據服務(wù)故障場(chǎng)景下，集群性能的穩定性;與容器平臺的對接;數據生命周期的管理等多方面能力。這些嚴格的評估標準，也是從實(shí)際業(yè)務(wù)的訴求和科大訊飛基礎架構團隊在多年的實(shí)際工作積累中提煉出來(lái)的。
YRCloudFile在架構上，可以完全與硬件解耦;在通用的服務(wù)器上就能充分發(fā)揮出高速存儲介質(zhì)和網(wǎng)絡(luò )的性能，相對于其它的存儲產(chǎn)品，性能領(lǐng)先數倍;元數據處理和訪(fǎng)問(wèn)性能，在故障場(chǎng)景下，元數據的訪(fǎng)問(wèn)性能尤為突出，充分滿(mǎn)足海量小文件的訪(fǎng)問(wèn)需求和特點(diǎn);在容器平臺對接、冷熱數據分層上具有特色鮮明的功能。綜合產(chǎn)品多方面的考量要素，YRCloudFile是最貼近科大訊飛訓練數據平臺的高性能分布式文件存儲產(chǎn)品。
在科大訊飛對焱融科技YRCloudFile進(jìn)行深入了解和測試之后，雙方達成了全面的合作。
YRCloudFile在科大訊飛的運行狀況
隨著(zhù)科大訊飛和焱融科技的共同合作，YRCloudFile得以快速應用在科大訊飛核心的大規模深度學(xué)習訓練集群生產(chǎn)環(huán)境中。憑借YRCloudFile靈活的軟件部署架構和界面化快速部署能力以及焱融科技的全方位售后服務(wù)，從第一個(gè)YRCloudFile集群上線(xiàn)，到后續數個(gè)集群陸續部署，數據快速增長(cháng)，只經(jīng)歷短短幾個(gè)月時(shí)間，總數據規模已達到近10PB，存放近百億用于訓練的音頻、視頻、圖片文件，單集群峰值帶寬達近十GB/s，訓練效率大幅提升。
科大訊飛訓練集群容量快速增長(cháng)
整個(gè)科大訊飛語(yǔ)音訓練平臺服務(wù)于科大訊飛內部人工智能研究院近千臺高性能計算服務(wù)器，大量科學(xué)家和算法工程師通過(guò)這些數據對模型進(jìn)行持續優(yōu)化，完成科大訊飛各類(lèi)語(yǔ)音服務(wù)的產(chǎn)品輸出。
在YRCloudFile服務(wù)科大訊飛過(guò)程中，焱融科技和科大訊飛的基礎架構團隊保持密切的溝通，通過(guò)數據IO模型特點(diǎn)的分析，焱融科技研發(fā)團隊進(jìn)一步針對科大訊飛的數據特點(diǎn)對YRCloudFile進(jìn)行產(chǎn)品層面的優(yōu)化，由此形成了YRCloudFile部署->IO特點(diǎn)分析->讀寫(xiě)優(yōu)化->更新上線(xiàn)的完整閉環(huán)。雙方技術(shù)團隊，基于YRCloudFile在2019年的IO500測試中，獲得了全球第六的成績(jì)。
YRCloudFile也通過(guò)在科大訊飛大規模的使用，快速積累更多服務(wù)人工智能企業(yè)高性能存儲場(chǎng)景的經(jīng)驗和能力，產(chǎn)品得到了進(jìn)一步的增強，也證明了YRCloudFile的產(chǎn)品穩定性及性能優(yōu)勢。
YRCloudFile在科大訊飛未來(lái)的規劃
目前YRCloudFile已經(jīng)為科大訊飛的訓練集群提供了大規模的高性能數據服務(wù)，接下來(lái)還會(huì )繼續擴大在此場(chǎng)景下的使用。
- YRCloudFile還提供了很好的云原生存儲的能力，包括支持容器跨節點(diǎn)重建、PVC Quota、PVC擴容、PVC QoS、熱點(diǎn)分析等特性，也是國內首個(gè)進(jìn)入CNCF LandScape的云原生存儲產(chǎn)品，因而，科大訊飛未來(lái)計劃將YRCloudFile進(jìn)一步應用在內部大量的云原生應用場(chǎng)景中。
- 焱融科技的技術(shù)團隊還會(huì )開(kāi)放更多的SDK，幫助科大訊飛將YRCloudFile整合到訊飛云平臺中，為更多業(yè)務(wù)提供基礎的共享文件系統服務(wù)。
YRCloudFile給科大訊飛帶來(lái)的價(jià)值
正如我們所介紹的那樣，海量數據和強大算力是深度學(xué)習得以發(fā)揮作用的兩大要素。YRCloudFile作為科大訊飛深度學(xué)習集群中所使用的高性能文件系統，在提供人工智能基礎架構的核心存儲服務(wù)的同時(shí)，也逐步體現出越來(lái)越大的商業(yè)價(jià)值。
- 訓練時(shí)間大幅縮短。相對于曾經(jīng)使用的其它商業(yè)存儲，YRCloudFile的高帶寬、低延時(shí)特性，能夠使GPU等計算服務(wù)器的計算效率達到飽和，從而將單次訓練時(shí)間由一周縮短至數小時(shí)。
- 訓練精度提升。深度學(xué)習生成的模型會(huì )存在一定的偏差，算法工程師可以通過(guò)調整深度學(xué)習中的權重，不斷降低深度學(xué)習的成本函數(Cost Function)，因此算法工程師需要對模型進(jìn)行多次迭代。由于單次訓練時(shí)間的縮短，使算法工程師對模型進(jìn)行更多的迭代成為可能。迭代次數越多，輔以算法的優(yōu)化，使科大訊飛的訓練精度得到不斷提升。
總結
目前，國內的人工智能行業(yè)正迎來(lái)飛速發(fā)展的時(shí)機，AI交通、AI醫療、AI政務(wù)、AI教育、自動(dòng)駕駛等多個(gè)人工智能場(chǎng)景在不斷深入到我們的生活，YRCloudFile將幫助語(yǔ)音識別、視覺(jué)識別、自動(dòng)駕駛等人工智能企業(yè)提升訓練效率，增強人工智能企業(yè)的產(chǎn)品競爭力，從而更好地服務(wù)于更多的用戶(hù)。
關(guān)于科大訊飛
科大訊飛股份有限公司成立于1999年，是亞太地區知名的智能語(yǔ)音和人工智能上市企業(yè)。自成立以來(lái)，長(cháng)期從事語(yǔ)音及語(yǔ)言、自然語(yǔ)言理解、機器學(xué)習推理及自主學(xué)習等核心技術(shù)研究并保持了國際前沿技術(shù)水平;積極推動(dòng)人工智能產(chǎn)品研發(fā)和行業(yè)應用落地，致力讓機器“能聽(tīng)會(huì )說(shuō)，能理解會(huì )思考”，用人工智能建設美好世界。2008年，公司在深圳證券交易所掛牌上市(股票代碼：002230)。
關(guān)于焱融科技
焱融科技是一家以軟件定義存儲技術(shù)為核心競爭力的高新技術(shù)企業(yè)，在分布式存儲等關(guān)鍵技術(shù)上擁有自主知識產(chǎn)權，是容器存儲的領(lǐng)導者。焱融科技針對各行業(yè)業(yè)務(wù)特性，打造個(gè)性化行業(yè)解決方案，提供一站式的產(chǎn)品與服務(wù)。焱融科技系列產(chǎn)品已服務(wù)于人工智能、金融、政府、制造業(yè)、互聯(lián)網(wǎng)等行業(yè)的眾多客戶(hù)。了解更多焱融科技信息，請訪(fǎng)問(wèn)官網(wǎng)www.yanrongyun.com。
