近日，以“Connect·Collaborate·Accelerate”為主題，由浪潮和OCP基金會(huì )聯(lián)合舉辦的第二屆OCP China Day 暨OCP Tech Week全球技術(shù)峰會(huì )中國專(zhuān)場(chǎng)在北京望京凱悅酒店隆重開(kāi)幕。騰訊作為OCP中國社區的核心成員，在峰會(huì )現場(chǎng)介紹了當前數據中心互聯(lián)光網(wǎng)絡(luò )技術(shù)的發(fā)展，以及騰訊基于標準化單元構建的自動(dòng)運行光網(wǎng)絡(luò )。目前，騰訊已將光網(wǎng)絡(luò )的標準單元快速復制到數據中心互聯(lián)應用中，有效應對數據中心互聯(lián)帶寬的快速增長(cháng)。
數據中心光網(wǎng)絡(luò )面臨挑戰
過(guò)去的10年是互聯(lián)網(wǎng)高速發(fā)展的10年，隨著(zhù)產(chǎn)業(yè)的不斷發(fā)展，應用種類(lèi)極大豐富，用戶(hù)規模空前龐大。往往一個(gè)應用就擁有千萬(wàn)級別用戶(hù)，上PB數據量。在這樣的環(huán)境下，早期的單機或集群的計算模式已經(jīng)無(wú)法滿(mǎn)足應用的發(fā)展要求，更大規模的云計算模式是互聯(lián)網(wǎng)持續發(fā)展的必經(jīng)之路。
受限于目前數據中心的規模問(wèn)題以及異地容災的需求，往往一個(gè)應用會(huì )分布在多個(gè)數據中心之內，導致在不同的云數據中心之間往往會(huì )產(chǎn)生幾百甚至上千GB的帶寬需求。在這樣的背景下，光網(wǎng)絡(luò )逐漸走入了互聯(lián)網(wǎng)企業(yè)的視野。
騰訊的開(kāi)放光網(wǎng)絡(luò )平臺是騰訊新一代光網(wǎng)絡(luò )系統，基于超強的采集和控制能力不斷提升光網(wǎng)絡(luò )的自動(dòng)化水平，目標是構建一個(gè)高度自動(dòng)化、友好的光網(wǎng)絡(luò )。目前，騰訊的開(kāi)放光網(wǎng)絡(luò )平臺已經(jīng)解決了硬件標準化問(wèn)題，開(kāi)發(fā)標準的OPC-4設備，實(shí)現電層系統與光層系統的解耦合，不再綁定單一供應商。同時(shí)騰訊開(kāi)放光網(wǎng)絡(luò )平臺標準化的管控模型也已開(kāi)發(fā)完畢。通過(guò)騰訊開(kāi)放光網(wǎng)絡(luò )控制器實(shí)現對不同廠(chǎng)商設備的統一管控。
開(kāi)放光網(wǎng)絡(luò )的未來(lái) -- 自動(dòng)化
數據流量的快速增長(cháng)，要求我們部署越來(lái)越多的帶寬。互聯(lián)網(wǎng)的時(shí)代，層出不窮的應用被創(chuàng )造出來(lái)，他們便捷了我們的生活，提升了效率。這些應用加工數據、產(chǎn)生數據，特別是一些新的、流行的移動(dòng)應用在人群中傳播速度非常快，隨之帶來(lái)的是流量的迅速增長(cháng)，這要求我們必須以更快的速度部署帶寬資源。為數據中心提供高質(zhì)量帶寬，保證帶寬長(cháng)期穩定運行，開(kāi)放光網(wǎng)絡(luò )的研發(fā)被騰訊提上日程。
為應對大規模數據中心快速增長(cháng)的互聯(lián)帶寬，騰訊技術(shù)人員針對數據中心互聯(lián)組網(wǎng)的特點(diǎn)，構建了一套開(kāi)放光網(wǎng)絡(luò )系統，通過(guò)將光網(wǎng)絡(luò )切割成一個(gè)一個(gè)獨立的標準化單元，設計為更加適用于數據中心應用的硬件設備OPC-4，TPC-4和設備管控模型，構建起標準化管控系統，實(shí)現對不同廠(chǎng)商設備的統一管理，混合組網(wǎng)，并將標準單元應用到數據中心互聯(lián)中，在一定程度上能夠更加有效地應對帶寬的快速增長(cháng)。
隨著(zhù)系統規模越來(lái)越大，網(wǎng)絡(luò )運營(yíng)壓力也持續增大，騰訊正在為系統構建自動(dòng)化自主運行能力，使系統能夠常態(tài)化自動(dòng)運行。騰訊技術(shù)人員依然是從標準結構入手，基于閉環(huán)控制的原理，為標準結構構建起自主運行的能力，使它能夠自己管理自己，自己優(yōu)化自己，使系統能夠常態(tài)化自動(dòng)運行。這樣一旦標準結構具備了自主運行能力，便可以快速的將這種能力復制到整個(gè)網(wǎng)絡(luò )，使整個(gè)網(wǎng)絡(luò )能夠常態(tài)化自動(dòng)運行。
數據中心自動(dòng)光網(wǎng)絡(luò )邁進(jìn)三部曲
數據中心互聯(lián)光網(wǎng)絡(luò )在持續向前演進(jìn)，從最初依靠工程師經(jīng)驗驅動(dòng)的光網(wǎng)絡(luò )，到標準模型一統天下的模型驅動(dòng)光網(wǎng)絡(luò )，再向數據為王的數據驅動(dòng)光網(wǎng)絡(luò )演進(jìn)。第一個(gè)階段，主要依靠經(jīng)驗豐富的工程師，將不同廠(chǎng)商的傳輸系統部署到了數據中心網(wǎng)絡(luò )。此時(shí)系統的復雜度是最高的，因為雖然滿(mǎn)足同樣的需求，但是不同廠(chǎng)商的設備，實(shí)現的方案是不一樣的，整個(gè)網(wǎng)絡(luò )充斥著(zhù)不同廠(chǎng)商的不同方案，面對本質(zhì)上類(lèi)似的技術(shù)問(wèn)題，雖然掌握基本原理，但是要落實(shí)到具體的系統，就需要熟悉某個(gè)系統的專(zhuān)家來(lái)幫助分析問(wèn)題，同時(shí)需要針對特定系統操作熟練的工程師配合，這個(gè)階段運維大廳里坐著(zhù)很多不同廠(chǎng)商的工程師。此時(shí)系統是最復雜的，需要最多的人來(lái)處理解決問(wèn)題。
如何降低系統的復雜度？減少人工干預？答案是：標準化，程序化！通過(guò)構建標準化的流程，用程序去處理模型統一一致的物理設備，可以很大程度的降低整個(gè)系統的復雜度。這就是第二個(gè)階段模型驅動(dòng)階段，這個(gè)階段大家會(huì )針對自己的系統定義標準模型，而騰訊則更進(jìn)一步，直接定義系統需要的硬件設備，這樣即使不同廠(chǎng)商進(jìn)行生產(chǎn)，但設備的形態(tài)保持一致，這明顯降低了系統的復雜度，不用再去關(guān)注不同設備的細節差異，開(kāi)始基于相同的模型構建，來(lái)對系統進(jìn)行思考。
這個(gè)階段強調的是模型的一致性，行為的一致性。當系統標準化后，對系統進(jìn)行數字化升級改造，極大的提升了系統的數據采集能力，使系統能夠采集到更多、更精細化的數據。為我們向下一個(gè)階段：數據驅動(dòng)的光網(wǎng)絡(luò )演進(jìn)奠定基礎。
經(jīng)歷了模型驅動(dòng)階段，系統具備了標準模型，同時(shí)積累了大量的數據，使整個(gè)系統全景數據化成為可能。而源源不斷的數據也成為了驅動(dòng)系統不斷發(fā)現問(wèn)題，解決問(wèn)題的核心驅動(dòng)力，至此我們?yōu)橄到y構建起了一個(gè)數據引擎，驅動(dòng)系統不斷的優(yōu)化和演進(jìn)。
構建自動(dòng)控制架構關(guān)鍵能力
騰訊開(kāi)放光網(wǎng)絡(luò )的自動(dòng)控制架構，本質(zhì)是一個(gè)閉環(huán)控制架構。整個(gè)架構的關(guān)鍵點(diǎn)是四大關(guān)鍵能力的構建：控制能力，采集能力，感知能力，決策能力。然后將這四大能力合理有序的串聯(lián)起來(lái)，便可以實(shí)現整個(gè)系統的自動(dòng)運行。采集能力采集到系統更加詳盡、更加精細的運行數據，感知能力通過(guò)對運行數據的分析，感知到系統的變化，決策能力則是使系統具備科學(xué)分析，科學(xué)決策的能力，依據感知結果對系統作出科學(xué)決策，并將指令傳遞給控制系統執行，實(shí)現對系統的閉環(huán)控制。
構建光網(wǎng)絡(luò )的感知能力
什么是感知能力？用人體的一個(gè)體驗作為一個(gè)例子，如果人體被針扎一下或者手擰一下，都會(huì )體會(huì )到疼痛，人體體會(huì )到疼痛是一種采集能力，但是我們的大腦能夠準確地從這兩種疼痛不同的表現方式，感覺(jué)出哪個(gè)是針扎，哪個(gè)是手擰，這就是感知能力。可以看到感知能力是一種對數據的分析，并得到結論的能力。在傳統的光網(wǎng)絡(luò )系統中，對數據的感知往往是由經(jīng)驗豐富的工程師來(lái)完成的，騰訊正在幫助系統構建起這種能力，使系統能夠在無(wú)人干預的情況下，自行實(shí)現對數據的經(jīng)驗性轉化。目前騰訊開(kāi)放光網(wǎng)絡(luò )已經(jīng)具備了控制能力和采集能力，正在進(jìn)行感知能力和分析能力的構建。
騰訊主要是從兩個(gè)維度來(lái)構建系統的感知能力，一個(gè)維度是：系統維度，另一個(gè)維度是：時(shí)間維度。系統維度，首先構建針對單個(gè)指標的感知能力，通過(guò)對不同指標的感知來(lái)判斷系統變化。我們的系統從物理上看是由硬件和光纖組成的，而這兩大類(lèi)物理可見(jiàn)的物件，又是運營(yíng)中可以操作的基本單元，構建針對硬件和光纖的感知能力，使系統能夠準確的感知其故障和潛在風(fēng)險，觸發(fā)相關(guān)運維操作，便可以有效將非預期的故障轉化為預期的網(wǎng)絡(luò )操作，有效避免故障的發(fā)生。傳輸系統最終是一個(gè)帶寬系統，我們常常會(huì )被用戶(hù)問(wèn)及現在帶寬情況如何？帶寬的感知能力構建則是讓系統能夠自行回答這個(gè)問(wèn)題。帶寬感知是系統最為關(guān)鍵的一環(huán)，使讓系統能夠感知帶寬的運行狀態(tài)，對潛在風(fēng)險進(jìn)行合理規避，有效降低帶寬的非預期性中斷，保證系統長(cháng)期穩定運行。
而從時(shí)間角度，則要為系統構建快速感知能力，中速感知能力和慢速感知能力，這是從系統問(wèn)題分析的時(shí)效性出發(fā)定義的能力。快速感知是對性能數據的實(shí)時(shí)分析，快速捕獲系統故障。中速感知則是對系統潛在風(fēng)險或者關(guān)鍵指標變化的分析和感知，這往往需要對一定量數據進(jìn)行分析，才能發(fā)現一定的特征。而慢速感知則是通過(guò)對大量數據的分析來(lái)感知系統運行趨勢，可以對系統未來(lái)的運行狀況進(jìn)行預測。
設備作為整個(gè)系統的運行數據采集終端，騰訊在想辦法提升其采集數據的速率和精度，在騰訊的持續努力下，目前設備可以按照1s間隔向控制器推送性能數據，而且關(guān)鍵性能指標的時(shí)間分辨率可以達到20ms。控制器作為系統計算能力主要單元，則在持續提升其數據處理及時(shí)性和準確性。基于1s streaming telemetry構建的數字驅動(dòng)系統，對比傳統傳輸系統的15min性能數據，不僅僅是900倍的時(shí)間分辨率提升，更是對系統觀(guān)測能力的革命。正是基于對系統的精細化觀(guān)測，使我們能夠精確感知、準確控制。
數據驅動(dòng)為系統帶來(lái)了革命性的變化的同時(shí)，也帶來(lái)了極大的挑戰。數據驅動(dòng)系統的核心是：數據與算法。我們希望在這兩個(gè)方面與更多的合作伙伴一起合作，在數據為王的時(shí)代，數據源的質(zhì)量直接影響到系統的正確表達，如何保證數據源的質(zhì)量，如何監控數據源的質(zhì)量，是一項關(guān)鍵任務(wù)。
而找到數據背后的真相，發(fā)現問(wèn)題的本質(zhì)則會(huì )從根本上改變我們和供應商的協(xié)作方式，由原來(lái)我們只能在問(wèn)題發(fā)生后被動(dòng)的接受故障分析報告，演進(jìn)到可以根據數據發(fā)現的真相，有效驅動(dòng)供應商進(jìn)行精準的問(wèn)題修復，防患于未然。在算法方面，找到針對指標感知更加通用的算法，找到更加合理的帶寬質(zhì)量分析算法，找到更加通用的硬件和網(wǎng)絡(luò )系統分析算法，則是我們關(guān)注的重點(diǎn)，有效解決光網(wǎng)絡(luò )系統問(wèn)題的同時(shí)，更為通用的算法也可以更加便捷的應用到其他網(wǎng)絡(luò )領(lǐng)域中。
在本次OCP China Day大會(huì )上，可以看到來(lái)自騰訊、百度、Intel、微軟、浪潮、三星、希捷等不同領(lǐng)域的開(kāi)放計算社區成員，騰訊的OPC-4和TOOP是開(kāi)放的光網(wǎng)絡(luò )項目，百度的天蝎整機柜是開(kāi)放的計算項目，三星poseidon是一款存儲產(chǎn)品，阿里的液冷是開(kāi)放的數據中心散熱項目……在這些開(kāi)源項目背后，是計算、存儲、網(wǎng)絡(luò )等不同領(lǐng)域的開(kāi)源項目正在相互融合匯聚，開(kāi)放計算不僅推動(dòng)形成了下一代數據中心的基本技術(shù)框架，也在加速構建開(kāi)放融合的統一計算生態(tài)。
消息來(lái)源：浪潮
