前不久的一個(gè)存儲論壇上，記者現場(chǎng)聆聽(tīng)了上海交通大學(xué)網(wǎng)絡(luò )信息中心系統架構師黃保青關(guān)于構建云存儲平臺的經(jīng)驗分享，深入且全面地了解到在實(shí)施部署過(guò)程中如何解決存儲、網(wǎng)絡(luò )和虛擬化方面的難題，以及如何與開(kāi)源OpenStack結合起來(lái)提供服務(wù)的應用實(shí)踐。
據黃保青介紹，上海交通大學(xué)數據中心在閔行和徐匯校區建設有主備兩個(gè)機房，距離超過(guò)30千米，通過(guò)校園萬(wàn)兆網(wǎng)絡(luò )實(shí)現互連。現階段共部署了100多臺服務(wù)器，虛擬化程度達到60%。
上海交通大學(xué)在采用虛擬化技術(shù)方面起步較早，從2004年開(kāi)始計劃簡(jiǎn)化大型機的功能，再到初步實(shí)施服務(wù)器虛擬化，至今已經(jīng)采用了VMware、KVM和OpenVZ等技術(shù)。目前數據庫以外的應用基本都運行在虛擬機中。由于考慮到數據庫的IO比較密集，并且本身應用相對單一，所以沒(méi)有將數據庫放在虛擬機里面。
現在，上海交通大學(xué)現在已經(jīng)可以為師生提供云服務(wù)，包括與廠(chǎng)商合作的云存儲，為教師和學(xué)生提供20GB和10GB的存儲空間，類(lèi)似網(wǎng)盤(pán)的服務(wù)和文件共享服務(wù)，總容量達到30TB以上，“但這并不是架構在傳統存儲系統上，而是通過(guò)類(lèi)似Google GFS的廉價(jià)存儲系統實(shí)現的”。
此外，上海交大還籌備著(zhù)提供基于OpenStack的IaaS服務(wù)，目前還處于測試階段。談到使用OpenStack的原因時(shí)，黃保青解釋說(shuō)，上海交大和很多廠(chǎng)商都有合作關(guān)系，但一直希望在數據中心建設方面擁有自己的一些東西，所以決定在OpenStack上提供IaaS服務(wù)。而在PaaS服務(wù)方面，上海交通大學(xué)利用VMware CloudFoundry提供一些應用級別的服務(wù)。
據了解，上海交通大學(xué)目前采用了NetApp、HDS和Sun StorageTek等傳統存儲系統，如何繼續保留和使用這些系統，最大限度地保護已有投資，同時(shí)積極引入嘗試DCB和FCoE等新技術(shù)，是上海交通大學(xué)遇到的首要挑戰。在這種情況下，黃保青的小組還考慮到了在DCB上實(shí)現存儲網(wǎng)絡(luò )和數據網(wǎng)絡(luò )的“兩網(wǎng)融合”，簡(jiǎn)化數據中心網(wǎng)絡(luò )架構，構建一個(gè)完善的跨校園多數據中心災備系統。
日漸膨脹的數據存儲對于上海交大來(lái)說(shuō)也是一個(gè)令人頭疼的問(wèn)題。數據庫、虛擬化平臺、富媒體資源和電子圖書(shū)，這些資源占用大量存儲空間，僅上海交通大學(xué)的圖書(shū)館每年數據增長(cháng)量就能達到幾十個(gè)TB。同時(shí)，由于學(xué)校個(gè)IT部門(mén)之間相對比較獨立，因此對于多租戶(hù)也提出了一定的需求，既要給部門(mén)、學(xué)生和科研提供存儲服務(wù)，又要做到互不干擾。
在了解到可能面對的挑戰和明確需求之后，接下來(lái)就是規劃如何建設校園云存儲環(huán)境了，是采用開(kāi)源還是商業(yè)方案？如何讓架構做到橫向擴展？黃保青介紹說(shuō)，最初在存儲選型的時(shí)候，他們希望支持統一存儲系統，除了SAN之外IP存儲是簡(jiǎn)化數據中心架構一個(gè)很好的選擇。此外，同時(shí)支持多個(gè)存儲協(xié)議也是構建云存儲平臺的完備基礎。
在他看來(lái)，FCoE是未來(lái)數據中心發(fā)展的方向，可以節省很多在FC上的投資并減少所需的管理人員，所以需要存儲系統能夠支持原生 FCoE。同時(shí)利用存儲分層技術(shù)，自動(dòng)實(shí)現對熱點(diǎn)數據的智能化分層；支持定制化的云計算環(huán)境和開(kāi)源OpenStack等；架構的靈活擴展也是他非常看重的，既要能滿(mǎn)足后續成長(cháng)的需求，又要支持跨校園網(wǎng)在徐匯和閔行校區間的數據容災。
在圍繞上面幾個(gè)關(guān)注點(diǎn)做了一系列長(cháng)期調研之后，上海交大做了一套數據中心規劃，在閔行總數據中心劃分成四個(gè)區域，（如下圖）前三個(gè)區域都是傳統的校園網(wǎng)絡(luò )應用，按照Web層、應用層和數據庫層劃分，其中數據庫層上部署了FCoE交換機。云服務(wù)被單獨劃分成一個(gè)區域，因為現在很多新的數據中心應用都跑在這個(gè)層上，包括數據分析、創(chuàng )新應用和體驗展示等。
在數據和存儲網(wǎng)絡(luò )的融合方面，上海交通大學(xué)數據庫服務(wù)器區的思科Nexus 5550啟用FCoE功能，部分接口配置8G FC SFP模塊，Web和應用服務(wù)器區的服務(wù)器主要通過(guò)IP協(xié)議訪(fǎng)問(wèn)存儲，SAN存儲系統則選擇了支持FCoE的NetApp FAS3270AE系統，因為NetApp FAS和服務(wù)器的萬(wàn)兆網(wǎng)卡接入Nexus交換機的萬(wàn)兆接口，在同一萬(wàn)兆端口上可以同時(shí)支持FCoE、iSCSI和NAS協(xié)議。
據黃保青介紹，NetApp FAS的FC接口接入現有FC交換機，為原有的FC SAN提供存儲空間。考慮到各廠(chǎng)商的FC交換機具有極強的排它性，所以沒(méi)有將原有的FC交換機與Nexus 5500互連。隨著(zhù)時(shí)間的推移，FC SAN設備將自然淘汰，數據中心將過(guò)渡到純FCoE存儲。
而且，新環(huán)境中常用的一些操作系統基本上都可以支持FCoE，例如現在使用的Windows Server 2008 R2、Linux CentOS 6.1以上版本和VMware vSphere 5.1 Software FCoE Adapter，所以在他看來(lái)，“FCoE的入門(mén)門(mén)檻已經(jīng)降到很低了”。
黃保青表示，他們下一步的計劃是支持SAN和NAS的統一集群存儲，不僅如此，存儲控制器、光纖和網(wǎng)絡(luò )接口、存儲數據卷全部虛擬化，萬(wàn)兆內部網(wǎng)絡(luò )做到數據的無(wú)縫遷移，讓徐匯校區和閔行校區之間通過(guò)IP校園網(wǎng)實(shí)現數據集群化架構和容災，最終目標是“構建安全多租戶(hù)的云存儲”。
作為國內開(kāi)源云聯(lián)盟的發(fā)起單位之一，去年8月上海交通大學(xué)與英特爾、新浪和中標共同成立開(kāi)源云聯(lián)盟，當時(shí)學(xué)校基于OpenStack的平臺有50多臺高端服務(wù)器，100TB iSCSI存儲、400TB對象存儲以及全萬(wàn)兆以太網(wǎng)互連，計劃在2013年上半年正式對外試運行，“我們將把這套平臺運用于生產(chǎn)環(huán)境中，與云存儲應用結合起來(lái)，給全校師生提供IaaS等服務(wù)”。
