Yahoo!是一家全球知名的互聯(lián)網(wǎng)公司,擁有過(guò)8億的活躍用戶(hù),提供了60多個(gè)全球化產(chǎn)品,分別部署在20多個(gè)國家或地區的數十萬(wàn)臺服務(wù)器之上,然而雅虎全球的運維團隊卻僅有數百人。下面,我們通過(guò)雅虎北京全球研發(fā)中心高級系統運維工程師劉元概述的三個(gè)方面來(lái)了解雅虎的技術(shù)運維體系,剖析超大規模網(wǎng)絡(luò )應用的運維挑戰,走進(jìn)Yahoo!數據中心!以下為原文:
基礎設施
“工欲善其事,必先利其器”——需要支撐超大規模的網(wǎng)絡(luò )應用,超大規模的全球基礎設施是必不可少的。所以我們先看Yahoo!數據中心和全球的骨干網(wǎng)絡(luò )有哪些特別的設計和考慮,來(lái)幫支撐超大規模的互聯(lián)網(wǎng)應用。
首先通過(guò)兩張圖片(圖1)來(lái)了解Yahoo!數據中心。我們的數據中心大多是自主設計和建造的,尤其在北美地區,我們自主設計并建造了三個(gè)超大規模的數據中心。這三個(gè)數據中心初期設計的容量均為20兆瓦,大概可容納25000到30000臺服務(wù)器及相應網(wǎng)絡(luò )設備,并均有能力通過(guò)后續容量擴展至50兆瓦以上。
如果有參觀(guān)過(guò)國內數據中心,或者有數據中心建設經(jīng)驗的同學(xué)可能會(huì )有所了解。影響數據中心建設的最主要因素往往不是網(wǎng)絡(luò )帶寬,而是電力和制冷。所以,雅虎通過(guò)近20年的經(jīng)驗積累,在這兩方面沉淀了大量的專(zhuān)利技術(shù)以提高數據中心的密集度。我們自行設計機架及其電源模塊以保證所有機架都能滿(mǎn)負荷工作,同時(shí)實(shí)現所有電源的遠程網(wǎng)絡(luò )控制,這樣可以有效的提升可維護性,降低現場(chǎng)工程師的工作負擔。滿(mǎn)架的服務(wù)器機架還有另一個(gè)好處:所有的服務(wù)器都是前吸冷風(fēng),后排熱風(fēng),我們將服務(wù)器機架相對排列(面對面,背對背),這樣就可以實(shí)現冷熱風(fēng)道的隔離,甚至完全密封熱風(fēng)通道,促使冷空氣在均勻通過(guò)所有服務(wù)器散熱后,由熱風(fēng)通道排出。這樣不僅降低了制冷面積,還提升了散熱效率。通過(guò)建設超大規模的數據中心,我們不僅增加了數據中心的密集度,提升了單個(gè)數據中心的計算能力,滿(mǎn)足了日益增長(cháng)的超大規模應用需求,同時(shí)還能提升數據中心現場(chǎng)工程師的管理效率,降低維護成本。此外,我們也不斷聚焦新技術(shù)的采用以降低能源消耗。我們數據中心通過(guò)精心的設計,實(shí)現PUE(能源使用效率=總體能源消耗/IT設備能源消耗,越接近1代表能源效率越高)僅為1.08的業(yè)界領(lǐng)先水平。
除了數據中心是我們自行設計并建造的,我們全球的骨干網(wǎng)絡(luò )也是自主設計。我們通過(guò)自行鋪設光纜或租用運營(yíng)商網(wǎng)絡(luò ),構建了自己的Yahoo!全球骨干網(wǎng)。所有的網(wǎng)絡(luò )設備都由我們的網(wǎng)絡(luò )運維團隊管理,核心網(wǎng)絡(luò )均是多鏈路冗余,實(shí)現單點(diǎn)網(wǎng)絡(luò )故障的自動(dòng)轉移,而不依賴(lài)網(wǎng)絡(luò )運營(yíng)商提供的SLA。
圖2 全球骨干網(wǎng)絡(luò )示意圖(不代表Yahoo!全球骨干網(wǎng)絡(luò )設計)
我們的全球骨干網(wǎng)絡(luò )均為高帶寬互聯(lián),區域內我們提供10Gbps-40Gbps乃至北美地區的200Gbps互聯(lián)帶寬,洲際間也提供20Gbps的多鏈路冗余。骨干網(wǎng)絡(luò )主要是傳輸雅虎內部數據,分發(fā)應用所需的數據到全球所有數據中心,收集全球用戶(hù)訪(fǎng)問(wèn)數據到后端計算網(wǎng)格進(jìn)行匯總和計算。
Yahoo!全球骨干網(wǎng)絡(luò )除了與傳統運營(yíng)商網(wǎng)絡(luò )互聯(lián)互通,以方便最終用戶(hù)能通過(guò)其運營(yíng)商網(wǎng)絡(luò )快速接入雅虎的各項服務(wù),同時(shí)我們還與其他的大型互聯(lián)網(wǎng)公司有交換網(wǎng)絡(luò )連接,這樣我們與其他大型互聯(lián)網(wǎng)公司間的數據交換(如郵件數據交換)即可通過(guò)我們的交換網(wǎng)絡(luò )傳輸,不再依賴(lài)于運營(yíng)商網(wǎng)絡(luò )。這樣不僅提高了交換能力,更大范圍降低對網(wǎng)絡(luò )運營(yíng)商的依賴(lài)性。