企業(yè)架構高級經(jīng)理Brenden Bryan稱(chēng)，在政府雇員健康協(xié)會(huì )(GEHA)徹底調整數據中心并部署Fabric網(wǎng)絡(luò )架構基礎設施后，程序變得“真的是相當簡(jiǎn)單”，再也不像許多其它的IT項目那樣復雜了。“在回顧整個(gè)過(guò)程并且說(shuō)‘我希望做出不同的決定’時(shí)，我們沒(méi)有遇到任何問(wèn)題或麻煩。”
位于密蘇里州堪薩斯城的GEHA作為全美第二大的健康計劃與牙齒健康計劃正在處理著(zhù)100多萬(wàn)名聯(lián)邦政府雇員、退休職員和他們的家庭成員的醫療費用報銷(xiāo)工作。Bryan稱(chēng)，轉向Fabric網(wǎng)絡(luò )架構的主要原因是簡(jiǎn)化、鞏固和移除遺留的光纖通道SAN環(huán)境。
Bryan在2010年8月份開(kāi)始為GEHA工作。他稱(chēng)，當時(shí)他接手的是一個(gè)相當典型的基礎設施：由眾多廠(chǎng)商生產(chǎn)并且帶有許多故障的部件拼湊而成。該協(xié)會(huì )還希望虛擬化其大型機環(huán)境，讓其變成一個(gè)分布式架構。Bryan 稱(chēng)：“我需要的是一個(gè)擁有冗余性和高可獲得性的基礎設施。”一旦新的基礎設施就位并穩定運行，下一步計劃就是將所有的GEHA Tier 2和Tier 3應用轉移到這上面，最終將Tier 1報銷(xiāo)處理系統也轉移到這上面。
GEHA部署了由博科生產(chǎn)的以太網(wǎng)交換機和路由器。目前距這個(gè)為期六個(gè)月的項目結束日期已經(jīng)過(guò)了一年多時(shí)間。他稱(chēng)，它們提供了一個(gè)高速環(huán)境和一個(gè)20比1的虛擬機與刀片服務(wù)器硬件的比例。
Bryan 稱(chēng)：“我能夠保持最低限度的物理服務(wù)器數量，盡可有的利用它們。它們讓我能夠提高存儲效率和計算效率。”
部署數據中心網(wǎng)絡(luò )架構需要一些規劃。ZK Research 的首席分析師Zeus Kerravala稱(chēng)，這意味著(zhù)必須要用新的交換機設備升級和替代老式的交換機，因為在光纖通道網(wǎng)絡(luò )中使用了不同的流量配置。“你必須要重新搭建你的網(wǎng)絡(luò )，以及重新連接服務(wù)器。”
實(shí)現扁平化
數據中心網(wǎng)絡(luò )架構是一個(gè)針對橫向信息流優(yōu)化過(guò)網(wǎng)絡(luò )，相對于傳統網(wǎng)絡(luò )來(lái)說(shuō)，其更為扁平，更為簡(jiǎn)單。Kerravala解釋稱(chēng)，其更多的是針對客戶(hù)端/服務(wù)器設置進(jìn)行設計的，為的是實(shí)現服務(wù)器與網(wǎng)絡(luò )核心實(shí)現信息往來(lái)。
Fabric網(wǎng)絡(luò )模式中，流量在網(wǎng)絡(luò )和虛擬機之間橫向流通。“因此其更多的是一種服務(wù)器對服務(wù)器的連接。”fabric網(wǎng)絡(luò )更為扁平，并且不超過(guò)兩層。相比之下，遺留的網(wǎng)絡(luò )至少擁有三層或甚至更多的層。Kerravala稱(chēng)，這些年來(lái)，存儲網(wǎng)絡(luò )也采用了這種設計方式，如今數據網(wǎng)絡(luò )也需要采用這種設計方式。
推動(dòng)向fabric網(wǎng)絡(luò )轉型的一個(gè)因素是，在財富2000排行榜上的公司，有半數的企業(yè)數據中心工作負載被進(jìn)行了虛擬化。當實(shí)現了數據中心負載實(shí)現了虛擬化后，他們開(kāi)始關(guān)注如何讓他們的服務(wù)器與其它的服務(wù)器以及網(wǎng)絡(luò )進(jìn)行通信。
企業(yè)存儲集團高級分析師Bob Laliberte 稱(chēng)：“我們將這視為數據中心網(wǎng)絡(luò )架構方面的發(fā)展。推動(dòng)因素是越來(lái)越多的服務(wù)器對服務(wù)器連接。這些不同的服務(wù)器需要彼此對話(huà)，與網(wǎng)絡(luò )核心進(jìn)行通信。這些都增加了處理負載和延時(shí)。”
虛擬化增加了復雜性，因為這意味著(zhù)動(dòng)態(tài)移動(dòng)許多東西，“因此網(wǎng)絡(luò )廠(chǎng)商正在努力簡(jiǎn)化這些復雜環(huán)境。”
當數據中心無(wú)法擴展
隨著(zhù)房屋止贖事件在2006年達到頂峰，Walz集團發(fā)現他們的數據中心無(wú)法擴展以有效應對額外的服務(wù)增長(cháng)需求。該公司負責為多個(gè)行業(yè)提供文檔管理、履約和合規服務(wù)。公司的首席信息安全官Bart Falzarano稱(chēng)：“這妨礙了業(yè)務(wù)的增長(cháng)。”
Falzarano稱(chēng)，公司招聘了額外的IT員工以應對這些不同的系統和管理措施，建立新的服務(wù)器，擴展網(wǎng)絡(luò )，增加災難恢復服務(wù)。“但是管理這些技術(shù)問(wèn)題非常困難，尤其是隨著(zhù)我們開(kāi)始嘗試向虛擬環(huán)境轉移。”他稱(chēng)。公司還有許多無(wú)法被虛擬化的應用，這些必須要被分別管理。“這些系統、存儲和網(wǎng)絡(luò )都有著(zhù)不同的切入點(diǎn)。我們已經(jīng)變得無(wú)法實(shí)現預期的目標了。”
為了減少復雜性，Walz集團在2009年部署了思科的統一數據中心平臺，這是一個(gè)統一的數據中心Fabric架構，其將計算、存儲、網(wǎng)絡(luò )和管理綜合到了一個(gè)平臺中，以實(shí)現IT自動(dòng)化，讓其成為一個(gè)跨越物理和虛擬環(huán)境的服務(wù)。目前這一平臺在公司中已經(jīng)與NetApp SAN Storage Flexpod平臺連接在了一起。
Falzarano回憶稱(chēng)，此前他們使用的是惠普的技術(shù)，當數據庫的一個(gè)節點(diǎn)出現故障，就需要給廠(chǎng)商打電話(huà)，最終需要取出四個(gè)CPU中的三個(gè)，并且需要花上四個(gè)小時(shí)才能排除故障。直到恢復正常運行，14個(gè)小時(shí)已經(jīng)過(guò)去了。
“現在，對于同樣的故障，如果我們發(fā)現了出問(wèn)題的刀片服務(wù)器節點(diǎn)，我們在4分鐘內就可以斷開(kāi)這一SQL應用并重新連接SQL應用。在虛擬管理層也可以這樣做。”他稱(chēng)。
IT一直在追蹤數據中心性能，記錄一些關(guān)鍵的指標。Falzarano稱(chēng)，他們發(fā)現密集度變成了8比1，這意味著(zhù)更少的纜線(xiàn)復雜度和更低的纜線(xiàn)需求量。老技術(shù)的虛擬化效率為4比1，新技術(shù)具有更高的效率，達到了15比1。團隊能夠虛擬化以前他們所無(wú)法虛擬化的應用。
其它的優(yōu)勢還包括機架減少了50%，系統管理更為集中化——目前一個(gè)IT工程師可以管理50個(gè)系統。。
“在使用老技術(shù)時(shí)，我們遇到了大量的硬件故障問(wèn)題。在我們的多數據中心中，每隔30天就會(huì )出現一個(gè)故障。現在一年都可能不會(huì )出現一個(gè)故障。”他稱(chēng)。
容易部署
與Walz集團的IT執行官一樣，GEHA 的IT團隊領(lǐng)導人認為部署fabric網(wǎng)絡(luò )模式不僅能夠滿(mǎn)足業(yè)務(wù)需求，還降低了復雜性、成本和管理數據中心所需要的人員數量。Bryan稱(chēng)協(xié)會(huì )還獲得了規模效益，兩個(gè)人即可管理所有的以太網(wǎng)環(huán)境，這與以往需要熟悉fabric的額外人員截然不同。
“在我們的團隊中，沒(méi)有任何一個(gè)人是光纖通道的專(zhuān)家。讓報銷(xiāo)程序系統具有冗余性與高可獲得性的唯一辦法是依靠以太網(wǎng)fabric網(wǎng)絡(luò )架構技術(shù)。我們的員工熟悉這種技術(shù)。”他稱(chēng)。
Bryan稱(chēng)，自從無(wú)需購買(mǎi)任何光纖通道交換機，協(xié)會(huì )能夠省下了近50多萬(wàn)美元的資金預算，由于不需要人員管理光纖通道，協(xié)會(huì )運營(yíng)開(kāi)銷(xiāo)減少了約25萬(wàn)美元。“自從改用fabric網(wǎng)絡(luò )架構，我們能夠取消成堆的設備。” Bryan稱(chēng)。
GEHA使用了一個(gè)本地托管服務(wù)提供商以幫助安裝架構中一些更為復雜的部分。“但是從我們打開(kāi)設備包裝箱到整個(gè)環(huán)境運行起來(lái)，只需要兩天的時(shí)間。過(guò)程非常簡(jiǎn)單。” Bryan稱(chēng)。
他補充道，新架構的性能讓人感到十分震驚。他們做了一個(gè)測試，通過(guò)網(wǎng)絡(luò )將一個(gè)4G的ISO文件從一個(gè)刀片服務(wù)器拷貝到另一個(gè)刀片服務(wù)器上。在網(wǎng)絡(luò )和存儲都通過(guò)相同的光纖通道網(wǎng)絡(luò )架構的情況下，耗時(shí)低于1秒鐘。他稱(chēng)：“我們沒(méi)有看到遷移，我不認為它們被真正拷貝了。”
IT正在使用這一架構通過(guò)CommVault的軟件備份他們的環(huán)境。Bryan，協(xié)會(huì )正在關(guān)注網(wǎng)絡(luò )吞吐量能在1小時(shí)內達到1太字節這一性能。“與以前的架構相比，吞吐量提升了8至10倍。”
今天，GEHA所有的產(chǎn)品流量正在fabric網(wǎng)絡(luò )架構上。Bryan稱(chēng)，他對這一基礎設施已經(jīng)非常滿(mǎn)意了。他稱(chēng)，基礎設施的擴展已經(jīng)不再是一個(gè)問(wèn)題，通過(guò)聚合架構與速度，已經(jīng)成為了一大重要優(yōu)勢。GEHA也能夠在單一刀片服務(wù)器上運行繁重的虛擬機工作負載，他稱(chēng)。“不用在大量的刀片服務(wù)器上花大量的資金，取而代之的是你無(wú)需犧牲性能就能夠增加這些刀片服務(wù)器的投資回報率。”Bryan稱(chēng)。
Laliberte稱(chēng)，他觀(guān)察了數據中心網(wǎng)絡(luò )架構的未來(lái)，發(fā)現這類(lèi)架構僅僅剛剛起步。如果你考慮的是復雜性和規模，并且在你的環(huán)境中擁有數千臺服務(wù)器和交換機，那么任何類(lèi)型的架構調整都耗時(shí)耗力。
僅僅是花時(shí)間對三層架構進(jìn)行改良，就需要花上三個(gè)階段。“這些情況已經(jīng)變成了現實(shí)并得到了宣傳，但是要被大規模部署還需要幾年時(shí)間。”
案例研究：正在使用中的Fabric網(wǎng)絡(luò )架構
Dan Shipley以往巡視數據中心時(shí)，他所看到的全部是一堆雜亂無(wú)章的線(xiàn)纜和交換機。它們管理起來(lái)即費錢(qián)又容易出錯。Shipley為一家名為供應網(wǎng)絡(luò )公司的架構師。該公司總部位于圣路易斯市，是一家總資產(chǎn)達6億美元的辦公用品批發(fā)商。Shipley稱(chēng)，公司遇到的所有典型問(wèn)題都與傳統的基礎設施有關(guān)：300臺服務(wù)器消耗掉了大量的電力，占用了大量的空間，在硬件維護時(shí)必須要停止運行。
“我們主要使用的是惠普的產(chǎn)品。我們從惠普那里訂購了這些服務(wù)器。由于這些服務(wù)器的研發(fā)時(shí)代都不盡相同，因此如果一臺服務(wù)器的主要出現了故障，那么我們的員工就要為此忙上一晚上，這非常痛苦。所以我們說(shuō)，‘看啊，我們終于擺脫了這種痛苦。’虛擬化已經(jīng)成為了主流，我們需要從這個(gè)傳統游戲中跳出來(lái)。”
目前，供應網(wǎng)絡(luò )在他們的數據中心中所創(chuàng )建的東西與傳統方式有著(zhù)很大的不同。公司沒(méi)有部署以太網(wǎng)和架構交換機，而是選擇了Xsigo的I/O Director，其位于服務(wù)器機架頂層，負責定向流量。機架上的所有服務(wù)器都被插入到一個(gè)盒子里，這個(gè)盒子能夠動(dòng)態(tài)地建立與其它所有數據中心資源的連接。與其它的數據中心架構不同，I/O Director提供了InfiniBand架構。InfiniBand為一種基于開(kāi)源標準，用于高速通信的交換式光纖通信鏈路。
Shipley稱(chēng)：“在你的所有服務(wù)器上，你可以去除所有的線(xiàn)纜、以太網(wǎng)和架構交換機，將其與一個(gè)InfiniBand線(xiàn)纜連接，出于冗余考慮你可以連接兩個(gè)，這就是我們所做的工作。”這些線(xiàn)纜將被插入I/O Director中。“我希望將所有的這些都連接至一個(gè)外部光纖通道存儲，創(chuàng )建一個(gè)虛擬化fabric存儲網(wǎng)絡(luò )。實(shí)際上，這些都通過(guò)InfiniBand架構運行，而服務(wù)器……我認為它們仍然在通過(guò)fabric進(jìn)行連接。”
這一配置意味著(zhù)他們現在僅僅使用兩條線(xiàn)纜，而不是多條線(xiàn)纜，同時(shí)擁有大量的帶寬。
供應網(wǎng)絡(luò )公司實(shí)現了徹底的虛擬化，他們的數據中心數量由大約20個(gè)架構縮減到了4個(gè)。電力消耗和冷卻能耗也得到了降低。
Shipley稱(chēng)，InfiniBand已經(jīng)在超級計算機領(lǐng)域被應用了十年時(shí)間，其具有低成本和開(kāi)放性。然而相反的是，其它的廠(chǎng)商都在對以太網(wǎng)進(jìn)行投資，因為他們不希望看到InfiniBand勝出。目前I/O Director傳輸速度為每秒56G，而最快的以太網(wǎng)連接也不過(guò)每秒10G。
在成本方面，Shipley稱(chēng)一個(gè)端口的10G以太網(wǎng)網(wǎng)卡的價(jià)格約為600美元，同時(shí)在另一端還需要一個(gè)以太網(wǎng)交換機端口，其成本為每個(gè)端口大約為1000美元。“因此對于每一個(gè)以太網(wǎng)連接來(lái)說(shuō)，你需要1600美元。”一個(gè)40G單個(gè)端口InfiniBand適配器價(jià)格大約為450至500美元。他稱(chēng)，36端口的InfiniBand交換機為6000美元，平均下來(lái)每個(gè)端口的價(jià)格為167美元。
Shipley稱(chēng)，公司已經(jīng)取消了所有的核心以太網(wǎng)交換機，以支持InfiniBand技術(shù)。
他承認：“我首先擔心的是……怕我自己不了解InfiniBand。”當時(shí)大多數企業(yè)架構為fabric和以太網(wǎng)。他稱(chēng)：“我們帶來(lái)了I/O Director，并且與思科的統一數據中心進(jìn)行了對比。前者不僅成本低，速度快，而且簡(jiǎn)單易用。同時(shí)Xsigo的支持也非常的不錯。”
Shipley稱(chēng)，此前的大型數據中心工作需要花上12個(gè)小時(shí)。自從部署了I/O Director，同樣的工作所需要時(shí)間不超過(guò)3個(gè)小時(shí)。現在將虛擬機從一個(gè)托管主機遷移至另一個(gè)上只需要幾秒鐘時(shí)間，而以往要花上數分鐘才行。
他稱(chēng)，他最初擔憂(yōu)的是，由于Xsigo是一家規模較小的廠(chǎng)商，擔心它們用不了多長(cháng)時(shí)間就會(huì )倒閉。但是，他們發(fā)現連VMware都是Xsigo的客戶(hù)。
企業(yè)戰略集團高級分析師Bob Laliberte 稱(chēng)：“Xsigo宣稱(chēng)，你還可以使用他們的產(chǎn)品替代使用以太網(wǎng)和fabric，并創(chuàng )建一個(gè)fabric網(wǎng)絡(luò )架構。他們的說(shuō)法是對的。當你談?wù)摂祿行木W(wǎng)絡(luò )和數據中心架構時(shí)，Xsigo正在幫助創(chuàng )建一個(gè)兩層的架構。不過(guò)，瞻博、思科和博科正在嘗試創(chuàng )建更為扁平的網(wǎng)絡(luò )架構。”
Laliberte 稱(chēng)，InfiniBand是一個(gè)優(yōu)秀的協(xié)議，但是這一協(xié)議未必會(huì )被大規模使用。“它們目前主要還是應用在需要進(jìn)行極快計算的超級計算領(lǐng)域。”
