數據中心虛擬化成為了趨勢，通過(guò)服務(wù)器虛擬化提高資源利用率，同時(shí)降低單位能耗。但是，隨著(zhù)數據中心虛擬化程度的不斷提高、虛擬化服務(wù)器規模的不斷擴大，帶來(lái)了巨大的管理壓力。這就孕育了云計算誕生的條件。在大規模虛擬化的基礎上，實(shí)現了自動(dòng)化管理和集中化管理，就是云計算的基本模型。這一點(diǎn)在互聯(lián)網(wǎng)行業(yè)尤其重要。
一、 互聯(lián)網(wǎng)云計算對網(wǎng)絡(luò )的需求
互聯(lián)網(wǎng)行業(yè)數據中心的基本特征就是服務(wù)器的規模偏大。進(jìn)入云計算時(shí)代后，其業(yè)務(wù)特征變得更加復雜，包括：虛擬化支持、多業(yè)務(wù)承載、資源靈活調度等（如圖1所示）。與此同時(shí)，互聯(lián)網(wǎng)云計算的規模不但沒(méi)有縮減，反而更加龐大。這就給云計算的網(wǎng)絡(luò )帶來(lái)了巨大的壓力。
圖1. 互聯(lián)網(wǎng)云計算的業(yè)務(wù)特點(diǎn)
大容量的MAC表項和ARP表項
虛擬化會(huì )導致更大的MAC表項。假設一個(gè)互聯(lián)網(wǎng)云計算中心的服務(wù)器有5000臺，按照1:20的比例進(jìn)行虛擬化，則有10萬(wàn)個(gè)虛擬機。通常每個(gè)虛擬機會(huì )配置兩個(gè)業(yè)務(wù)網(wǎng)口，這樣這個(gè)云計算中心就有20萬(wàn)個(gè)虛擬網(wǎng)口，對應的就是需要20萬(wàn)個(gè)MAC地址和IP地址。云計算要求資源靈活調度，業(yè)務(wù)資源任意遷移。也就是說(shuō)任意一個(gè)虛擬機可以在整個(gè)云計算網(wǎng)絡(luò )中任意遷移。這就要求全網(wǎng)在一個(gè)統一的二層網(wǎng)絡(luò )中。全網(wǎng)任意交換機都有可能學(xué)習到全網(wǎng)所有的MAC表項。與此對應的則是，目前業(yè)界主流的接入交換機的MAC表項只有32K，基本無(wú)法滿(mǎn)足互聯(lián)網(wǎng)云計算的需求。另外，網(wǎng)關(guān)需要記錄全網(wǎng)所有主機、所有網(wǎng)口的ARP信息。這就需要網(wǎng)關(guān)設備的有效ARP表項超過(guò)20萬(wàn)。大部分的網(wǎng)關(guān)設備芯片都不具備這種能力。
4K VLAN Trunk問(wèn)題
傳統的大二層網(wǎng)絡(luò )支持任意VLAN的虛擬機遷移到網(wǎng)絡(luò )的任意位置，一般有兩種方式。方式一：虛擬機遷移后，通過(guò)自動(dòng)化網(wǎng)絡(luò )管理平臺動(dòng)態(tài)的在虛擬機對應的所有端口上下發(fā)VLAN配置；同時(shí)，還需要動(dòng)態(tài)刪除遷移前虛擬機對應所有端口上的VLAN配置。這種方式的缺點(diǎn)是實(shí)現非常復雜，同時(shí)自動(dòng)化管理平臺對多廠(chǎng)商設備還面臨兼容性的問(wèn)題，所以很難實(shí)現。方式二：在云計算網(wǎng)絡(luò )上靜態(tài)配置VLAN，在所有端口上配置VLAN trunk all。這種方式的優(yōu)點(diǎn)是非常簡(jiǎn)單，是目前主流的應用方式。但這也帶來(lái)了巨大的問(wèn)題：任一VLAN內如果出現廣播風(fēng)暴，則全網(wǎng)所有VLAN內的虛擬機都會(huì )受到風(fēng)暴影響，出現業(yè)務(wù)中斷。
4K VLAN上限問(wèn)題
云計算網(wǎng)絡(luò )中有可能出現多租戶(hù)需求。如果租戶(hù)及業(yè)務(wù)的數量規模超出VLAN的上限（4K），則無(wú)法支撐客戶(hù)的需求。
虛擬機遷移網(wǎng)絡(luò )依賴(lài)問(wèn)題
VM遷移需要在同一個(gè)二層域內，基于IP子網(wǎng)的區域劃分限制了二層網(wǎng)絡(luò )連通性的規模。
二、互聯(lián)網(wǎng)云計算網(wǎng)絡(luò )為什么選擇Overlay
針對互聯(lián)網(wǎng)云計算對網(wǎng)絡(luò )提出的這些挑戰，H3C選擇了基于VXLAN技術(shù)的Overlay網(wǎng)絡(luò )架構來(lái)構建自己的云計算網(wǎng)絡(luò )解決方案。
1. Overlay如何應對云計算網(wǎng)絡(luò )的挑戰
首先，Overlay的核心是重新構建一個(gè)邏輯網(wǎng)絡(luò )平面，其技術(shù)手段的關(guān)鍵是采用隧道技術(shù)實(shí)現L2oIP的封裝。通過(guò)隧道實(shí)現各虛擬機之間的二層直連。這樣網(wǎng)絡(luò )只看見(jiàn)Overlay邊緣節點(diǎn)的MAC地址，物理網(wǎng)絡(luò )學(xué)習到的MAC表項非常有限，現有接入交換機32K的MAC表項足以滿(mǎn)足需求（如圖2所示）。對應的Overlay邊緣節點(diǎn)實(shí)現基于會(huì )話(huà)的地址學(xué)習機制，也就是說(shuō)只學(xué)習有交互流量的虛擬機MAC地址。這樣也嚴格限制了邊緣節點(diǎn)的地址表項。
圖2. Overlay網(wǎng)絡(luò )如何應對云計算網(wǎng)絡(luò )的挑戰
其次，Overlay網(wǎng)絡(luò )僅僅是一個(gè)邏輯上的二層直連網(wǎng)絡(luò )。其依賴(lài)的物理網(wǎng)絡(luò )，是一個(gè)傳統的路由網(wǎng)絡(luò )。這個(gè)路由網(wǎng)絡(luò )是一個(gè)三層到邊緣的網(wǎng)絡(luò )。也就是說(shuō)二層廣播域被縮小到極致。這樣，網(wǎng)絡(luò )風(fēng)暴潛在的風(fēng)險大幅度降低。同時(shí)，對于一些需要依賴(lài)二層廣播的協(xié)議報文，例如：ARP報文，Overlay網(wǎng)絡(luò )通過(guò)ARP代理等方式實(shí)現協(xié)議的內容透傳，不會(huì )影響協(xié)議報文的正常運作。
再次，針對4K VLAN上限問(wèn)題，Overlay網(wǎng)絡(luò )通過(guò)L2oIP的封裝字段，提供24bits長(cháng)度的隔離ID，最大可以支持16M租戶(hù)或業(yè)務(wù)。
最后，針對網(wǎng)絡(luò )虛擬化問(wèn)題。Overlay網(wǎng)絡(luò )本身就是一個(gè)從物理網(wǎng)絡(luò )中抽離的邏輯網(wǎng)絡(luò )，通過(guò)名址分離使得內層IP地址完全作為一個(gè)尋址標簽，不再具備路由功能，可以實(shí)現不同subnet之間二層互通，保證二層網(wǎng)絡(luò )的連通性不受IP地址段的限制。
2. H3C為什么選擇VXLAN
從Overlay網(wǎng)絡(luò )出現開(kāi)始，業(yè)界陸續定義了多種實(shí)現Overlay網(wǎng)絡(luò )的技術(shù)，主流技術(shù)包括：VXLAN、NVGRE、STT、Dove等（如圖3所示）。
圖3 Overlay主流技術(shù)概覽
從標準化程度進(jìn)行分析，DOVE和STT到目前為止，標準化進(jìn)展緩慢，基本上可以看作是IBM和VMware的私有協(xié)議。因此，從H3C的角度來(lái)看無(wú)法選擇這兩種技術(shù)。
從技術(shù)的實(shí)用性來(lái)看，XLAN和NVGRE兩種技術(shù)基本相當。其主要的差別在于鏈路Hash能力。由于NVGRE采用了GRE的封裝報頭，需要在標準GRE報頭中修改部分字節來(lái)進(jìn)行Hash實(shí)現鏈路負載分擔。這就需要對物理網(wǎng)絡(luò )上的設備進(jìn)行升級改造，以支持基于GRE的負載分擔。這種改造大部分客戶(hù)很難接受。相對而言，VXLAN技術(shù)是基于UDP報頭的封裝，傳統網(wǎng)絡(luò )設備可以根據UDP的源端口號進(jìn)行Hash實(shí)現鏈路負載分擔。這樣VXLAN網(wǎng)絡(luò )的部署就對物理網(wǎng)絡(luò )沒(méi)有特殊要求。這是最符合客戶(hù)要求的部署方案，所以VXLAN技術(shù)是目前業(yè)界主流的實(shí)現方式。
3. VXLAN為什么選擇SDN
VXLAN的標準協(xié)議目前只定義了轉發(fā)平面流程，對于控制平面目前還沒(méi)有協(xié)議規范，所以目前業(yè)界有三種定義VXLAN控制平面的方式。
方式1：組播。由物理網(wǎng)絡(luò )的組播協(xié)議形成組播表項，通過(guò)手工將不同的VXLAN與組播組一一綁定。VXLAN的報文通過(guò)綁定的組播組在組播對應的范圍內進(jìn)行泛洪。簡(jiǎn)單來(lái)說(shuō)，和VLAN方式的組播泛洪和MAC地址自學(xué)習基本一致。區別只是前者在三層網(wǎng)絡(luò )中預定義的組播范圍內泛洪，而后者是在二層網(wǎng)絡(luò )中指定VLAN范圍內泛洪。這種方式的優(yōu)點(diǎn)是非常簡(jiǎn)單，不需要做協(xié)議擴展。但缺點(diǎn)也是顯而易見(jiàn)的，需要大量的三層組播表項，需要復雜的組播協(xié)議控制。顯然，這兩者對于傳統物理網(wǎng)絡(luò )的交換機而言，都是巨大的負荷和挑戰，基本很難實(shí)現。同時(shí)，這種方式還給網(wǎng)絡(luò )帶來(lái)大量的組播泛洪流量，對網(wǎng)絡(luò )性能有很大的影響。
方式2：自定義協(xié)議。通過(guò)自定義的鄰居發(fā)現協(xié)議學(xué)習Overlay網(wǎng)絡(luò )的拓撲結構并建立隧道管理機制。通過(guò)自定義（或擴展）的路由協(xié)議透傳Overlay網(wǎng)絡(luò )的MAC地址（或IP地址）。通過(guò)這些自定義的協(xié)議可以實(shí)現VXLAN控制平面轉發(fā)表項的學(xué)習機制。這種方式的優(yōu)點(diǎn)是不依賴(lài)組播，不存在大量的組播泛洪報文，對網(wǎng)絡(luò )性能影響很小。缺點(diǎn)是通過(guò)鄰居發(fā)現協(xié)議和路由協(xié)議控制所有網(wǎng)絡(luò )節點(diǎn)，這樣網(wǎng)絡(luò )節點(diǎn)的數量就受到協(xié)議的限制。換句話(huà)說(shuō)，如果網(wǎng)絡(luò )節點(diǎn)的數量超過(guò)一定范圍，就會(huì )導致對應的協(xié)議（例如路由協(xié)議）運行出現異常。這一點(diǎn)在互聯(lián)網(wǎng)行業(yè)更加明顯，因為互聯(lián)網(wǎng)行業(yè)云計算的基本特征就是大規模甚至超大規模。尤其是在vSwitch上運行VXLAN自定義路由協(xié)議，其網(wǎng)絡(luò )節點(diǎn)數量可以達到幾千甚至上萬(wàn)個(gè)，沒(méi)有路由協(xié)議可以支持這種規模的網(wǎng)絡(luò )。
方式3：SDN控制器。通過(guò)SDN控制器集中控制VXLAN的轉發(fā)，經(jīng)由Openflow協(xié)議下發(fā)表項是目前業(yè)界的主流方式。這種方式的優(yōu)點(diǎn)是不依賴(lài)組播，不對網(wǎng)絡(luò )造成負荷；另外，控制器通過(guò)集群技術(shù)可以實(shí)現動(dòng)態(tài)的擴容，所以可以支持大規模甚至超大規模的VXLAN網(wǎng)絡(luò )。當然，SDN控制器本身的性能和可靠性決定了全網(wǎng)的性能和可靠性，所以如何能夠提高控制器的性能和可靠性就是核心要素。
三、VXLAN Fabric網(wǎng)絡(luò )架構的優(yōu)勢
云計算網(wǎng)絡(luò )一直都有一個(gè)理念：Network as a Fabric，即整網(wǎng)可以看作是一個(gè)交換機。通過(guò)VXLAN Overlay可以很好地實(shí)現這一理念——VXLAN Fabric（如圖4所示）。
圖4 VXLAN Fabric網(wǎng)絡(luò )架構
Spine和Leaf節點(diǎn)共同構建了Fabric的兩層網(wǎng)絡(luò )架構，通過(guò)VXLAN實(shí)現Spine和Leaf之間的互聯(lián)，可以看做是交換機的背板交換鏈路。Spine節點(diǎn)數量可以擴容，最大可以達到16臺。Leaf節點(diǎn)數量也可以平滑擴容。理論上只要Spine節點(diǎn)的端口密度足夠高，這個(gè)Fabric可以接入數萬(wàn)臺物理服務(wù)器。
另外，通過(guò)VXLAN隧道可以實(shí)現安全服務(wù)器節點(diǎn)的靈活接入。這些安全服務(wù)節點(diǎn)可以集中部署在一個(gè)指定區域，也可以靈活部署在任意Leaf節點(diǎn)下。通過(guò)Service Chain技術(shù)實(shí)現任意兩個(gè)虛擬機之間可以通過(guò)任意安全服務(wù)節點(diǎn)互聯(lián)。保證網(wǎng)絡(luò )中虛擬機業(yè)務(wù)的安全隔離和控制訪(fǎng)問(wèn)。同理，Fabric的出口節點(diǎn)也可以部署在任意位置，可以靈活擴展。
簡(jiǎn)而言之，VXLAN Fabric構建了一個(gè)靈活的、穩定的、可擴展的Overlay網(wǎng)絡(luò )。這個(gè)網(wǎng)絡(luò )可以有效地解決云計算對網(wǎng)絡(luò )的挑戰，是云計算網(wǎng)絡(luò )發(fā)展的趨勢。
