云南聯(lián)通容災實(shí)施案例
中國聯(lián)通云南分公司計費信息系統部 李衛民
2004/05/24
項目概述
本次的容災工程涉及到云南聯(lián)通的綜合營(yíng)帳系統、短消息計費系統，分別運行在不同的操作系統平臺上，其數據也分布在不同的存儲設備上。業(yè)務(wù)系統已投入生產(chǎn)使用，所以，在整個(gè)工程實(shí)施過(guò)程中減小對運行業(yè)務(wù)的影響是重中之重。同時(shí)，由于各個(gè)系統數據分別存儲在不同的中檔磁盤(pán)陣列上，若實(shí)現磁盤(pán)陣列級容災，必須采用更高端磁盤(pán)陣列，因此，實(shí)現容災業(yè)務(wù)系統的數據需要遷移到高端的磁盤(pán)陣列。
本期工程采用了HP高端磁盤(pán)陣列XP512進(jìn)行遠程數據容災，在云南聯(lián)通業(yè)務(wù)中心本地新增一臺HP XP512。同時(shí)，在異地備份中心新增一臺XP512存儲服務(wù)器，作為主生產(chǎn)中心XP512的異地容災備份。本次容災的建設目標是對綜合營(yíng)帳系統、專(zhuān)業(yè)計費、短消息計費系統進(jìn)行同城異地數據級容災的綜合數據容災系統，業(yè)務(wù)系統的數據將可以通過(guò)基于XP磁盤(pán)陣列的Continuous Access XP軟件實(shí)時(shí)同步復制到備份數據中心的XP512中，從而實(shí)現數據的遠程保護
下圖是方案規劃的容災系統示意圖（見(jiàn)圖1）。
硬件環(huán)境的搭建在此就不贅述，下面主要從整個(gè)工程的重點(diǎn)和難點(diǎn)：系統遷移進(jìn)行著(zhù)重介紹。
系統遷移需求分析
在本次案例實(shí)施中，選取營(yíng)業(yè)系統的遷移做簡(jiǎn)要說(shuō)明。
一、系統現狀
綜合營(yíng)賬系統應用目前運行在兩臺主機superdome組成的群集上，其中一臺運行營(yíng)業(yè)的應用，另一臺運行賬務(wù)的應用。數據存儲在一臺MA8000磁盤(pán)陣列中，由于系統數據量較大，營(yíng)業(yè)和賬務(wù)的數據遷移工作必須分開(kāi)進(jìn)行，所以在一個(gè)系統數據遷移完畢后，MA8000磁盤(pán)陣列仍然需要在線(xiàn)，以保證其他系統遷移前的正常工作。
二、系統數據遷移要求
由于需遷移系統均為在線(xiàn)運行，因此，要盡量減少業(yè)務(wù)的影響。為此，整個(gè)遷移過(guò)程必須按以下步驟進(jìn)行：
1．營(yíng)業(yè)系統負責全省所有業(yè)務(wù)受理及客服系統的查詢(xún)，如發(fā)生長(cháng)時(shí)間中斷，會(huì )對業(yè)務(wù)及公司形象帶來(lái)非常不利影響。因此，業(yè)務(wù)中斷必須在夜間或業(yè)務(wù)量較少時(shí)進(jìn)行。
2．遷移前必須制定詳細的時(shí)間計劃表，每一步驟必須有專(zhuān)人負責。
3．系統要求：在遷移過(guò)程中系統設備具有可恢復性（事先做好備份和回退計劃），遷移后系統能夠運行正常。
4．數據要求：保證數據的完整性和可恢復性。
三、風(fēng)險分析
由于目前營(yíng)業(yè)系統屬于實(shí)時(shí)生產(chǎn)系統，保證系統應用在停機遷移后仍能正常啟動(dòng)服務(wù)和系統數據在遷移過(guò)程中不受損壞是本次遷移的重點(diǎn)。因此本次系統遷移責任非常重大，如果沒(méi)有周密的計劃、精心的組織，一旦出現問(wèn)題，必將導致重大的責任事故。為了保證遷移的順利實(shí)施，根據系統現狀進(jìn)行了風(fēng)險分析。
實(shí)施原則
完成項目的總原則是：按照方案的要求完成系統遷移工作，盡可能減少對營(yíng)業(yè)業(yè)務(wù)的影響。
由于責任重大，當在實(shí)施中發(fā)生便捷與風(fēng)險的矛盾時(shí)，要永遠將規避風(fēng)險放在首位。
實(shí)施重點(diǎn)
實(shí)施的重點(diǎn)在于系統遷移的前期準備、遷移后數據一致性檢查及應用的測試驗證工作。
系統遷移的切換發(fā)生在一個(gè)時(shí)間段，怎樣把這個(gè)時(shí)間段縮短，進(jìn)而保證對整個(gè)系統的影響最小、風(fēng)險最小，這就需要我們把前期準備做好、做足。
實(shí)施難點(diǎn)
實(shí)施的難點(diǎn)在于系統遷移過(guò)程中應急情況下系統和數據的可恢復性。
通過(guò)與相關(guān)人員的討論，確定了系統和數據的備份方案并論證了操作的可恢復性。
存在風(fēng)險
項目中的風(fēng)險貫穿于整個(gè)實(shí)施過(guò)程，在項目實(shí)施前應充分考慮到所有可能存在的風(fēng)險，考慮出現風(fēng)險時(shí)的應急措施，采取相應的手段規避風(fēng)險。可能存在的風(fēng)險有：
1.系統遷移的數據量較大，需要計劃足夠的時(shí)間；
2.設備在遷移中損壞，需要原廠(chǎng)及時(shí)響應；
3.系統結構比較復雜，營(yíng)業(yè)系統的遷移可能對客服系統產(chǎn)生影響。
營(yíng)業(yè)系統遷移計劃
根據以上分析，總體計劃分為前期準備階段、系統遷移實(shí)施階段和遷移后系統試運行階段三個(gè)階段。
一、 前期準備階段
前期準備階段是整個(gè)系統遷移成功的關(guān)鍵，該階段需要完成的工作有：
1.掌握系統的現狀、分布、IP地址、用途等，制定詳細遷移任務(wù)清單；
2.通過(guò)實(shí)驗確定系統遷移的操作并估算數據遷移需要的時(shí)間；
3.論證系統和數據備份的方式；
4.在XP512磁盤(pán)陣列上劃分數據移植所需的磁盤(pán)空間；
5.確立實(shí)施時(shí)間表及人員配備與分工；
6.制定可行的應急方案，論證操作的可恢復性；
7.了解需求的基礎上，分析項目實(shí)施重點(diǎn)和難點(diǎn)，對遷移的實(shí)施進(jìn)行深層次的討論，并就各方負責的實(shí)施部分的責任和實(shí)施細節進(jìn)行細化，確立各方面負責人。最終產(chǎn)生一份科學(xué)可行、安全穩妥、組織嚴謹、符合要求的系統遷移實(shí)施方案。
二、 系統遷移實(shí)施階段
為了系統的可靠性、數據的完整性和可恢復性，應對現有系統進(jìn)行軟硬件方面的檢測，并對系統和數據進(jìn)行備份，一旦在遷移過(guò)程中發(fā)生問(wèn)題，可以馬上恢復原有系統，保證系統運行。在此階段需要完成的工作有：
1.遷移前的設備檢測，系統、數據備份（如數據庫未打開(kāi)歸檔，需在實(shí)施遷移前打開(kāi)）；
2.完成營(yíng)業(yè)系統數據遷移，包括數據庫、文件系統、系統參數調整等；
3.系統遷移后的數據一致性檢測。
其中系統備份前最好對設備硬件和軟件分別進(jìn)行檢查，確認遷移前系統處于正常狀態(tài)。遷移的每個(gè)步驟都要按事先的規劃進(jìn)行，并確保操作的可逆性，一旦出現問(wèn)題系統可以回退到遷移前狀態(tài)。
營(yíng)業(yè)系統遷移應急措施
一、系統遷移前的異常
如果在規劃的時(shí)間點(diǎn)之前沒(méi)有完成系統遷移準備階段的任務(wù)，系統遷移時(shí)間順延，在確保準備工作就緒的前提下才進(jìn)行系統遷移。在系統開(kāi)始遷移前請相關(guān)人員進(jìn)行系統健康性檢查，確保在遷移前系統完好。
二、系統遷移過(guò)程中的異常
本次營(yíng)業(yè)系統遷移的原則是確保系統在規劃的遷移時(shí)間段之外可以正常運行。由于營(yíng)業(yè)系統遷移安排在夜間進(jìn)行，為確保系統在發(fā)生硬件或軟件故障時(shí)能夠及時(shí)得到技術(shù)響應，需要協(xié)調各相關(guān)人員（包括原廠(chǎng)商技術(shù)人員）到位。在執行遷移的過(guò)程中操作步驟具有可逆性，確保以外發(fā)生的時(shí)候可將系統迅速回退到最初狀態(tài)。系統和數據在遷移前都做最新的備份。如果遷移工作在凌晨6：00前沒(méi)有完成，也要將系統回退到遷移前狀態(tài)，保障系統在8：00前正常運行。
三、 系統遷移后的異常
營(yíng)業(yè)系統在數據遷移到XP512后，原有MA8000磁盤(pán)陣列中的數據繼續保留一段時(shí)間，以觀(guān)察新系統的穩定性。如果在試運行期新系統發(fā)生故障，仍可以讓營(yíng)業(yè)系統回退到遷移前狀態(tài)。
數據庫遷移
一、數據庫信息調查
數據庫的遷移主要是所有數據文件、重做日志、控制文件的遷移，在準備階段需調查清楚所有在用的數據文件、重做日志、控制文件所在裸盤(pán)的詳細情況。同時(shí)建議數據庫管理員在遷移前盡量不要添加新的數據文件，如遇特殊情況需增加新的數據文件，則必須通知工程項目組對已調查的數據進(jìn)行更新。
二、在XP512上創(chuàng )建物理卷組和對應的邏輯卷
根據收集的信息,在XP512上為營(yíng)業(yè)系統劃分的物理空間上創(chuàng )建新卷組，然后在新卷組上創(chuàng )建邏輯卷，最后給主機數據庫用戶(hù)分配權限。
三、數據庫備份與遷移
營(yíng)業(yè)數據庫采用的是ORACLE。推薦采用物理備份，該方法實(shí)現數據庫的完整恢復，但數據庫必須運行在歸檔模式下，且需要足夠的外部存儲設備，例如磁帶庫、硬盤(pán)空間等。物理級的備份主要是備份數據文件、控制文件、聯(lián)機重做日志文件、歸擋日志文件、回退段等。
1. Oracle數據庫物理備份準備。
A 打開(kāi)數據庫歸檔；
B 數據庫移植前幾天做一次全備,移植當天晚上做增量備份；
2. 數據庫物理備份。
A 使用dd拷貝和在sqlplus下用"alter database backup controlfile to trace"分別備份數據庫控制文件；
B 數據庫做增量備份。
3．修改inityy.ora文件，指定新的controlfile name（在XP512上），確保數據庫可以啟動(dòng)，確保歸檔備份目錄有足夠空間。
4．停主機上所有應用程序，正常宕數據庫，完后重啟數據庫（不啟監聽(tīng)），根據業(yè)務(wù)情況編寫(xiě)SQL提取一致性數據，將結果用spool輸出至一文本文件中保存。此外建議使用"alter system switch logfile"將所有日志組均做一次切換。
5．再次檢查數據庫數據文件是否與調查結果一致。
6．正常宕數據庫，用dd物理移植數據文件、控制文件、日志文件到XP512上，實(shí)際可生成多個(gè)shell并行執行。
7．在XP512上啟動(dòng)數據庫到mount狀態(tài)，將數據文件指向XP512。
8．將數據庫open，在XP512上給tempspace增加新的數據文件，然后刪除原來(lái)MA8000上的數據文件。
9．運行遷移前的同一SQL提取一致性數據，將新生成的文本文件與遷移前生成的文本文件比較是否一致。
10．在測試環(huán)境中進(jìn)行應用程序的驗證。
四、 異常情況處理
原存儲設備MA8000的邏輯卷不會(huì )立即刪除, 這樣原來(lái)數據庫數文件，日志文件不會(huì )丟失，即便有控制文件更改，也可用控制文件恢復, 如遷移有問(wèn)題或時(shí)間過(guò)長(cháng)，要留出恢復時(shí)間，用原來(lái)數據文件、日志文件、控制文件啟動(dòng)原數據庫。要求在測試階段，只能對數據庫的內容進(jìn)行可控的增加、刪除、修改。只有多方確認無(wú)問(wèn)題情況下，才能啟動(dòng)應用。同時(shí)做好歸檔的保存,如聯(lián)機重做日志少,可考慮增加幾組聯(lián)機重做日志。
工程試運行及演習
系統遷移工作成功后，工程即進(jìn)入試運行階段，在此期間相關(guān)人員需定時(shí)觀(guān)察主機運行狀態(tài)、主備兩個(gè)中心XP512的同步狀態(tài)及數據庫運行狀態(tài)并記錄。系統穩定運行后，應制定定期進(jìn)行主備中心切換的容災演習制度，發(fā)現問(wèn)題立即解決，確保在發(fā)生災難時(shí)系統的可恢復性。
中國計費網(wǎng)(www.billingchina.com)
相關(guān)鏈接:
亚洲精品网站在线观看不卡无广告,国产a不卡片精品免费观看,欧美亚洲一区二区三区在线,国产一区二区三区日韩
余姚市|
夏津县|
宣武区|
朝阳市|
南江县|
中宁县|
威信县|
博野县|
渑池县|
巴塘县|
博湖县|
东乌|
翁牛特旗|
浪卡子县|
偏关县|
萍乡市|
郯城县|
乌什县|
盐城市|
长春市|
开化县|
汉川市|
慈溪市|
库尔勒市|
扎囊县|
确山县|
阿拉善左旗|
彰化市|
甘泉县|
黄冈市|
洱源县|
广水市|
靖西县|
搜索|
嘉禾县|
桑植县|
山阳县|
临城县|
宁晋县|
抚宁县|
庄浪县|
http://444
http://444
http://444
http://444
http://444
http://444