“在本次Hadoop大數據項目中，華為向農行提供了良好的計算平臺，除了RH2288 V2服務(wù)器具有比較高的性?xún)r(jià)比之外，華為還能夠提供快速響應客戶(hù)需求的研發(fā)能力、以及業(yè)界最快捷的售后服務(wù)，解除了農行的后顧之憂(yōu)，是農行值得信賴(lài)的IT供應商。”
客戶(hù)簡(jiǎn)介
中國農業(yè)銀行（Agricultural Bank of China），簡(jiǎn)稱(chēng)農行，成立于1951年，是中國四大商業(yè)銀行之一。中國農業(yè)銀行在中國境內擁有2.34萬(wàn)家分支機構，服務(wù)逾4.2億客戶(hù)。2012年，在美國《財富》雜志全球500強排名中，中國農業(yè)銀行位列第84位。
業(yè)務(wù)挑戰
商業(yè)銀行的信息化建設涉及多個(gè)方面，從面向客戶(hù)服務(wù)的網(wǎng)上銀行、電話(huà)銀行、移動(dòng)支付、呼叫中心，到面向企業(yè)經(jīng)營(yíng)與管理的電子票據、電子報表、業(yè)務(wù)影像、自動(dòng)化辦公等，信息化已經(jīng)滲透到銀行業(yè)務(wù)與管理的方方面面，并成為商業(yè)銀行核心競爭力的一項重要內容。
隨著(zhù)信息化的快速發(fā)展，商業(yè)銀行產(chǎn)生的各類(lèi)電子數據近年來(lái)呈幾何級數增長(cháng)，形成了海量的數據。據不完全統計，目前中國農業(yè)銀行各應用系統每年產(chǎn)生的結構化數據已經(jīng)突破100TB，而非結構化數據更是突破1PB（1024TB）大關(guān)。
在信息化時(shí)代，數據深刻影響著(zhù)銀行的未來(lái)發(fā)展，誰(shuí)擁有數據誰(shuí)就獲得了話(huà)語(yǔ)權。數據的價(jià)值來(lái)源于對海量的客戶(hù)交易數據、客戶(hù)行為數據等的深層挖掘和分析，以便做到精準定位和營(yíng)銷(xiāo)，進(jìn)而根據不同的客戶(hù)和市場(chǎng)需求設計不同的金融產(chǎn)品，提升銀行的盈利能力。這種基于大數據的金融業(yè)務(wù)創(chuàng )新，目前已經(jīng)成為各商業(yè)銀行的競爭焦點(diǎn)之一。
對大數據進(jìn)行挖掘與分析，一是要能夠廉價(jià)處理海量的數據，例如一次性可處理100GB甚至更高的數據量；二是要能夠敏捷處理非結構化的海量數據，例如可以從海量的客戶(hù)電話(huà)投訴記錄中挖掘出有價(jià)值的營(yíng)銷(xiāo)機會(huì )點(diǎn)。
近年來(lái)，隨著(zhù)Hadoop大數據方案在互聯(lián)網(wǎng)行業(yè)廣泛應用并持續創(chuàng )造價(jià)值，中國農業(yè)銀行開(kāi)始關(guān)注并研究大數據方案在金融領(lǐng)域的應用。2012年7月，農行正式引入業(yè)內廣受關(guān)注的Hadoop大數據方案，并對相關(guān)的軟硬件技術(shù)及其在銀行內的應用可行性進(jìn)行了充分的研究，明確了大數據方案在農行的應用場(chǎng)景。
“在互聯(lián)網(wǎng)時(shí)代，我們必須要轉變經(jīng)營(yíng)方式，用互聯(lián)網(wǎng)的思維來(lái)做金融，為客戶(hù)提供創(chuàng )新的、量身定制的、體驗良好的金融服務(wù)，這樣才能持續保持商業(yè)銀行的競爭力”，農行的專(zhuān)家這樣認為。
農行的大數據方案首先被應用于支撐對歷史交易數據進(jìn)行查詢(xún)與分析，其采用業(yè)界流行的Hadoop分布式計算框架，具備處理海量結構化和非結構化數據的能力。Hadoop框架的一個(gè)顯著(zhù)特點(diǎn)是，將以往需要高性能小型機才能完成的計算任務(wù)，分解為由多臺x86服務(wù)器（甚至PC機）組成的計算集群來(lái)完成。在計算平臺的選擇上，農行的IT技術(shù)團隊在經(jīng)過(guò)認真的評估與論證后認為，由x86服務(wù)器組成的計算集群，在計算性能上可以滿(mǎn)足Hadoop大數據方案的要求，但在經(jīng)濟性方面比小型機更具有優(yōu)勢。
為了驗證這種可行性，2012年下半年，農行的IT技術(shù)團隊與華為的服務(wù)器研發(fā)團隊成立了聯(lián)合工作組。根據雙方達成的合作協(xié)議，華為將提供x86服務(wù)器組成計算集群，由農行在華為的計算平臺上運行Hadoop的相關(guān)軟件，并進(jìn)行相關(guān)的業(yè)務(wù)測試。農行與華為均希望通過(guò)試點(diǎn)“x86服務(wù)器”的分布式并行計算架構，來(lái)共同應對金融大數據業(yè)務(wù)帶來(lái)的挑戰。
首先，農行希望x86服務(wù)器在計算性能上應具備“秒級響應”的能力。目前，農行在中國境內的分支機構超過(guò)2.34萬(wàn)，服務(wù)的客戶(hù)超過(guò)4.2億，各營(yíng)業(yè)網(wǎng)點(diǎn)、自助終端設備、網(wǎng)上銀行等對數據中心的訪(fǎng)問(wèn)屬于高并發(fā)訪(fǎng)問(wèn)。對于歷史交易數據的查詢(xún)與分析業(yè)務(wù)，為確保客戶(hù)的滿(mǎn)意度與銀行的工作效率，農行要求大數據處理平臺對交易明細數據的隨機查詢(xún)要在“秒級”完成響應。
“這就意味著(zhù)，在1秒鐘之內，大數據處理平臺要從120TB的5年歷史交易數據中，也就是大約650億條的歷史交易記錄中，將查詢(xún)結果反饋給用戶(hù)”，農行的專(zhuān)家這樣跟華為說(shuō)。
其次，農行希望x86服務(wù)器具備良好的經(jīng)濟性。在應用x86服務(wù)器之前，農行多采用小型機來(lái)承載歷史交易數據的查詢(xún)與分析業(yè)務(wù)。為滿(mǎn)足業(yè)務(wù)要求，小型機首先需要存放至少5年120TB的歷史數據，同時(shí)每天新增的交易記錄在4000萬(wàn)條以上，需要約100G的存儲空間。但小型機相對封閉的硬件架構設計，使得其可擴展性受到很大的限制，導致每次擴容的成本都很高昂。此外，小型機非通用的架構設計，也給農行帶來(lái)了不菲的維保費用。
“我們之所以選擇x86服務(wù)器，一方面，是因為近年來(lái)x86服務(wù)器的技術(shù)性能得到了大幅提升；另一方面，采用通用架構的x86服務(wù)器，其在采購成本、擴容成本及維護成本方面，相對于小型機的優(yōu)勢也是很明顯的”，農行的專(zhuān)家說(shuō)。
談到未來(lái)的發(fā)展趨勢，農行的專(zhuān)家表示，開(kāi)放化、標準化一直是全球IT產(chǎn)業(yè)發(fā)展的規律之一，因為它可以帶來(lái)更高的性?xún)r(jià)比、更出色的擴展性、更優(yōu)秀的兼容性和更大的投資回報率。在談到與華為的合作時(shí)，該專(zhuān)家表示，他期待農行與華為合作成功，也希望華為的x86服務(wù)器能夠為金融業(yè)的信息化建設注入新的活力。
解決方案
基于農行與華為聯(lián)合工作組的良好運作，華為在深入分析了農行對大數據處理平臺的需求后，向農行提供了基于華為RH2288 V2服務(wù)器的分布式并行計算集群進(jìn)行測試。農行的測試結果表明，華為解決方案完全滿(mǎn)足農行對海量數據進(jìn)行分布式處理的要求。
華為RH2288 V2服務(wù)器基于業(yè)界通用的x86架構設計，相比農行現有的小型機系統，其CPU、硬盤(pán)、內存等配件可以很容易從市場(chǎng)上獲取，因而具備良好的可擴展性和經(jīng)濟性。農行評估后認為，相比小型機方案，采用華為RH2288 V2可以節約40%的運維成本，節約總體擁有成本（TCO）20%以上。
同時(shí)，分布式的計算集群架構使得服務(wù)器節點(diǎn)可以按需配置，系統具備從TB級到PB級的數據處理能力，完全滿(mǎn)足農行當前與未來(lái)業(yè)務(wù)的發(fā)展需要，充分保護農行的初期和遠期投資。
最令農行感到滿(mǎn)意的是，華為RH2288 V2服務(wù)器支持現場(chǎng)調整與優(yōu)化，農行可以按照業(yè)務(wù)需求對服務(wù)器的配置進(jìn)行現場(chǎng)調優(yōu)，從而使服務(wù)器的計算性能在Hadoop大數據環(huán)境下發(fā)揮到最優(yōu)。在測試中，農行85GB的原始數據加載（3份冗余）或者5000萬(wàn)定期賬戶(hù)批量處理，華為RH2288 V2服務(wù)器計算集群能在10分鐘內完成。而對于2億條交易詳單、600并發(fā)隨機查詢(xún)的平均響應時(shí)間，華為解決方案的測試結果低于40ms，遠遠超出農行的預期。
基于華為RH2288 V2服務(wù)器在測試過(guò)程中的優(yōu)秀表現，及其開(kāi)放架構帶來(lái)的良好經(jīng)濟性，2013年4月，中國農業(yè)銀行宣布，在其正式生產(chǎn)環(huán)境的Hadoop大數據處理平臺中，將采用200臺華為RH2288 V2服務(wù)器進(jìn)行部署。
客戶(hù)收益
目前，采用開(kāi)放架構的x86服務(wù)器建設銀行的IT系統（尤其是開(kāi)放平臺系統），已經(jīng)成為金融行業(yè)信息化的發(fā)展趨勢之一。
“在本次Hadoop大數據項目中，華為向農行提供了良好的計算平臺，除了RH2288 V2服務(wù)器具有比較高的性?xún)r(jià)比之外，華為還能夠提供快速響應客戶(hù)需求的研發(fā)能力、以及業(yè)界最快捷的售后服務(wù)，解除了農行的后顧之憂(yōu)，是農行值得信賴(lài)的IT供應商”，農行的一位專(zhuān)家這樣評價(jià)道。
