選型測試難點(diǎn)
存儲設備作為銀行信息系統中最為關(guān)鍵的核心設備，不僅存放著(zhù)全行業(yè)務(wù)及管理數據，同時(shí)也是容災解決方案的主要底層技術(shù)，選擇了某品牌存儲一般就意味著(zhù)選擇了該品牌的存儲高可用技術(shù)及所配套的容災解決方案。因此在選型測試中不能僅考慮單臺存儲性能及功能，而應將整體容災解決方案作為著(zhù)眼點(diǎn)，通過(guò)實(shí)地測試來(lái)為存儲選型提供真實(shí)有力的參考。在選型測試中面臨著(zhù)三個(gè)難點(diǎn)。
- 一是如何真實(shí)測試存儲解決方案的功能。測試內容需要涉及存儲單機穩定性及冗余性、多站點(diǎn)存儲高可用方案的容災功能、存儲與其他容災產(chǎn)品的兼容性和整體解決方案的容災功能。
- 二是如何真實(shí)測試存儲解決方案的性能。存儲廠(chǎng)商在推介產(chǎn)品時(shí)，往往依據存儲白皮書(shū)中實(shí)驗室所測量數據，但由于實(shí)際業(yè)務(wù)場(chǎng)景相比實(shí)驗室更為復雜，產(chǎn)品使用情況與理想數據相差甚遠。如何在差異化的復雜業(yè)務(wù)應用場(chǎng)景中，選擇測試案例來(lái)更為真實(shí)地測試存儲解決方案性能，是存儲選型測試的關(guān)鍵點(diǎn)。
- 三是如何保障測試工作的完備性和有效性。存儲設備價(jià)值較高、產(chǎn)品技術(shù)涉及面廣、測試案例數量繁多、測試持續時(shí)間較長(cháng)，行內及參與測試存儲廠(chǎng)商均需投入大量精力及成本。在資源有限的情況下，需要制定針對性措施來(lái)保障測試工作的完備性和有效性，才能達到存儲選型測試的目標。
測試方法及內容
在行業(yè)特性及監管部門(mén)的業(yè)務(wù)連續性要求下，銀行核心存儲解決方案的選型一般都較為審慎，因此本次選擇了業(yè)界較為傳統的3家存儲領(lǐng)先品牌A、B、C及1華為的高端全閃存儲作為測試目標。
1.測試方法的關(guān)注點(diǎn)
（1）選擇合適的測試載體。一般選擇真實(shí)系統的痛點(diǎn)場(chǎng)景，如高并發(fā)、大批量等應用程序作為載體來(lái)評估存儲產(chǎn)品的功能及性能。我行選擇核心系統中計算和存儲資源消耗量最大、并發(fā)度最高的存款結息批處理作為測試載體。
（2）重點(diǎn)關(guān)注整體解決方案功能。一般來(lái)說(shuō)，在銀行核心系統相關(guān)產(chǎn)品選型時(shí)，需要根據實(shí)際業(yè)務(wù)增長(cháng)量或業(yè)務(wù)種類(lèi)發(fā)展情況，在現有性能需求基礎上，上浮1~2倍，其上限相對產(chǎn)品實(shí)驗室性能指標在50%以?xún)龋源藖?lái)選擇產(chǎn)品技術(shù)線(xiàn)路，確保存儲整體解決方案的性能冗余。因此選型測試應該重點(diǎn)關(guān)注整體解決方案功能，以確保基礎架構的穩定性。
（3）具有完備可靠的保障體系。一是公平公正。選型測試的目的是為了在商務(wù)采購方面，提供更符合行內實(shí)際情況的技術(shù)需求和選型依據。因此在選擇測試設備品牌和配置、制定測試案例時(shí)，應盡量統一標準，兼顧公平與效率。二是科學(xué)合理。選型測試不僅需要測試設備功能及性能，也應對設備廠(chǎng)商的技術(shù)支持體系進(jìn)行考察，作為售后能力的重要評價(jià)標準。三是分工明確。明確參與測試廠(chǎng)商及行內在測試中的分工，特別是操作系統、數據庫等與存儲解決方案性能相關(guān)重點(diǎn)基礎軟件產(chǎn)品調優(yōu)的工作職責，是保障選型測試達到預期目標的關(guān)鍵措施。
2.測試內容
行內統一提供標準化的核心應用系統環(huán)境，基于應用系統性能指標，對存儲產(chǎn)品的功能及性能進(jìn)行測試驗證。
（1）功能測試。存儲功能測試將從功能性、可靠性、可維護性等方面，對存儲設備進(jìn)行全面測試。存儲及整體解決方案需支持行方核心系統全業(yè)務(wù)流程，并實(shí)現存儲設備的同城及異地容災切換等功能。
（2）性能測試。存儲性能測試需使用行內認可的第三方性能測試軟件，模擬核心應用系統業(yè)務(wù)流，對存儲設備進(jìn)行性能測試。要求性能測試結果不低于我行現有核心架構下的性能。
將行內當前正在使用的“LVM+HACMP”架構作為基準測試場(chǎng)景，在此基礎上，調整對應的雙活復制或者遠程方案，進(jìn)行雙機熱備、數據庫遠程復制和存儲雙活等業(yè)界較為主流容災方案的性能測試。相關(guān)性能測試由第三方測試廠(chǎng)商協(xié)助完成，重點(diǎn)關(guān)注對比主機、存儲、數據庫及測試案例（存款結息批處理耗時(shí)）等指標。
（3）廠(chǎng)家推薦用例。結合行內現網(wǎng)業(yè)務(wù)系統，由各廠(chǎng)家提供能夠展現產(chǎn)品優(yōu)勢的相關(guān)推薦用例，作為自選加分項。
測試結果
通過(guò)4個(gè)月的選型測試，對同城雙活中心建設中，可以選用的存儲架構和邏輯架構均進(jìn)行了測試，對不同架構下的性能做了橫向對比。根據實(shí)際的工作流程，我們從廠(chǎng)商技術(shù)服務(wù)實(shí)力及備件情況、技術(shù)架構、功能、性能4個(gè)維度進(jìn)行分析。
1.廠(chǎng)商配合力度及現場(chǎng)備件情況
從技術(shù)上來(lái)看，4家廠(chǎng)商的售后工程師對于產(chǎn)品都比較熟悉，經(jīng)驗較為豐富。從參與測試技術(shù)人員數量上來(lái)看，售后工程師數量方面華為、A、B、C依次減少（其中華為存儲研發(fā)團隊現場(chǎng)支持）。從備件儲備上來(lái)看，A、B和華為均有本地備件庫，C暫無(wú)。
2.存儲容災方案性能測試情況
通過(guò)7種業(yè)界主流容災技術(shù)組合對比測試，以應用程序指標（存款結息批處理耗時(shí)）作為衡量指標，“LVM Mirror+HACMP+HADR（異步）+遠端存儲異步復制”方案相較“存儲雙活+HACMP+HADR（異步）+遠端存儲異步復制”方案，耗時(shí)縮短3%以?xún)龋渲鳈Ccpu、內存消耗遠高于后者。綜合考慮實(shí)際運行環(huán)境中，整體容災架構的性能及穩定性，選擇了“存儲雙活+HACMP+HADR（異步）+遠端存儲異步復制”作為同城雙活容災架構方案。
3.各品牌存儲重點(diǎn)技術(shù)指標測試情況
以應用程序（存款結息批處理）耗時(shí)作為衡量指標，將“存儲雙活+HACMP+HADR（異步）+遠端存儲異步復制”方案測試結果作為對比項，各參與廠(chǎng)商測試結果相差5%以?xún)龋渲腥A為OceanStor Dorado 18000系列全閃存方案耗時(shí)最短，為77分9秒。存儲功能方面，各廠(chǎng)商“存儲全量復制”功能均全量拷貝后即時(shí)可用，“數據壓縮”均不影響性能。
4.測試方案中的不足
參與測試的存儲架構有所差異。在實(shí)際選型測試中，由于參與測試存儲廠(chǎng)家的產(chǎn)品生產(chǎn)地有所不同，受限于到貨時(shí)間、成本等因素，部分廠(chǎng)家僅提供了2臺全閃存儲，同時(shí)也存在存儲配置有所差異的情況，在一定程度上影響了測試結果。
投產(chǎn)運行情況
基于良好的測試表現、較為成熟的售后服務(wù)體系，以及分片負載均衡IO下發(fā)和滿(mǎn)分條新寫(xiě)等提高存儲性能的特性技術(shù)，最終選擇了6臺華為OceanStor Dorado 18000系列全閃存，構建了核心類(lèi)和重要類(lèi)業(yè)務(wù)系統兩套本地雙活、同城3DC的容災體系架構。
各類(lèi)系統架構升級投產(chǎn)后，穩定性和性能均大幅提升，夜間批處理全量時(shí)間由5.5小時(shí)縮短至3.2小時(shí)，其中決定網(wǎng)點(diǎn)門(mén)市業(yè)務(wù)的日啟批處理時(shí)間由3小時(shí)縮短至1.4小時(shí)，耗時(shí)最長(cháng)的存款計息批處理由110分鐘縮短至15分鐘。
全閃存運行性能方面，平均讀時(shí)延和最大讀時(shí)延，由原架構的2.41ms和15.41ms，提升為當前的0.4ms和0.7ms，提升約為6倍；最大寫(xiě)時(shí)延，由原架構的4.75ms，提升為小于1ms，提升約為4倍；平均寫(xiě)時(shí)延，由原架構的0.44ms，提升為當前的0.4ms。
湖北農信在同城雙活中心建設中，綜合考慮系統瓶頸、同業(yè)案例以及技術(shù)發(fā)展趨勢，將全閃存作為選型測試基準。邀請4家存儲業(yè)界優(yōu)秀廠(chǎng)商，基于高端全閃存產(chǎn)品，圍繞應用場(chǎng)景，測試了業(yè)界常用的各類(lèi)操作系統、數據庫及存儲等高可用技術(shù)組合的容災架構性能，較為全面、真實(shí)地評估高端全閃存的高可用功能及性能。產(chǎn)品方案投產(chǎn)后，運轉性能與選型測試情況相符，達到預期效果。限于技術(shù)產(chǎn)品及方案的復雜性和測試方案的完備性，本選型測試結果僅代表我行實(shí)際測試情況，希望能拋磚引玉，為同業(yè)核心存儲架構選型提供有益的參考。
文 / 湖北省農村信用社聯(lián)合社數據中心 雷智、張彤
