銀行客戶信息整合詳解

2003/04/14

　　圖1 DataStage邏輯架構

　　常用設計簡介

　　DataStage 提供給開發(fā)者非常直觀的圖形界面，開發(fā)者可以遵循一種工作流思考方式來選擇數(shù)據(jù)源、目標數(shù)據(jù)與過程轉換用的組件（Stages），并將之置于一個最初看起來像一個空格一樣的“草稿表”模板上。Stage是包含了一定功能的組件，類型很多：作為數(shù)據(jù)源和目標的可以是各種數(shù)據(jù)庫的連接，可以是文本文件或hash文件等；作為轉換功能的可以是排序、聚類統(tǒng)計、數(shù)學運算等具有特殊功能的組件。設計者用一種叫做“鏈接”的箭頭來連接這些具有代表性的圖標，而這些箭頭則闡明了運行開始后數(shù)據(jù)與元數(shù)據(jù)的流向。在創(chuàng)建DataStage任務時，用戶可以在設計草圖上添加注釋、說明、標簽或是其他可以添加給作業(yè)的描述性文字。DataStage使用圖形方式建立表的查詢、連接關系、排序和匯總運算。圖2、圖3是幾種常用的設計模式：

　　圖2 源數(shù)據(jù)和目標數(shù)據(jù)都直接操作數(shù)據(jù)庫

　　數(shù)據(jù)抽取的實現(xiàn)

　　客戶信息數(shù)據(jù)庫中的各表以客戶編碼為關鍵字進行關聯(lián)，客戶編碼是由客戶的證件號碼經過專門的算法計算產生的唯一客戶標識。根據(jù)各個系統(tǒng)中客戶數(shù)據(jù)與新系統(tǒng)客戶信息的對照關系我們設計數(shù)據(jù)抽取轉換的程序，如圖4所示是一個DataStage的Job。

　　由于源數(shù)據(jù)量很大，從數(shù)據(jù)庫中直接提取數(shù)據(jù)效率不高，我們采用先將數(shù)據(jù)卸載到文本文件中，再從文本中抽取數(shù)據(jù)進行處理。通過DataStage的Sequential File Stage可以連接一個指定路徑的文本文件，在db1_tab1設定文件的存放位置、文件中分隔符、文件中每個字段的類型、長度和名稱，即可以取得客戶的證件號碼、姓名、電話、職務職稱等信息。這些信息需要進行一系列處理：計算客戶編碼，根據(jù)新編碼規(guī)則進行代碼轉換，去掉非法字符等，在一個Transformer Stage Transform1中對各數(shù)據(jù)進行處理。

圖3 源數(shù)據(jù)和目標數(shù)據(jù)直接操作文本文件

　　其中CreateKhbm函數(shù)是利用DataStage提供的函數(shù)開發(fā)環(huán)境編寫的，目的是產生客戶唯一標識客戶編碼。由于tab1中的身份證號字段存儲的證件號碼數(shù)據(jù)不規(guī)范，所以在CleanSfzh函數(shù)中，我們對不規(guī)范的證件號碼進行清洗整理，產生規(guī)范的證件號碼。證件類型（zjlx）由于在不同系統(tǒng)中編碼定義不同，因此需要進行轉換。通訊地址和郵編兩個字段只對空值進行特殊處理。在這樣一個Transformer Stage中只需用很少的代碼即可以完成需要的數(shù)據(jù)處理。

　　由于不同的源數(shù)據(jù)中可能包含同一個客戶的信息，因此采用Hashed File Stage HF_khjbxx存放輸出結果，相同客戶的信息根據(jù)客戶編碼覆蓋前面產生的信息，避免了重復的客戶信息。從不同源數(shù)據(jù)庫取得客戶信息，根據(jù)數(shù)據(jù)的真實性依次進行處理后，生成的客戶信息全部保存在一個Hash文件中，最后從Hash文件中取出結果數(shù)據(jù)裝載到目標數(shù)據(jù)庫中。

圖4 一個DataStage的Job

　　由于客戶數(shù)據(jù)量很大，為了在不同的數(shù)據(jù)庫中將大量的數(shù)據(jù)進行整合，數(shù)據(jù)處理效率十分重要。在實現(xiàn)中不直接操作數(shù)據(jù)庫而使用文本文件的優(yōu)勢在于DataStage直接抽取文本文件數(shù)據(jù)的效率高于從數(shù)據(jù)庫中抽取，DataStage訪問數(shù)據(jù)庫時需要通過ODBC連接相應的數(shù)據(jù)庫Driver，連接上數(shù)據(jù)庫后，從數(shù)據(jù)庫中抽取部分數(shù)據(jù)存放于DataStage Server內存中，轉換裝載完后，再從數(shù)據(jù)庫中抽取一部分數(shù)據(jù)，所以不適用于大數(shù)據(jù)量的抽取轉換，而且不易于實現(xiàn)多進程同時執(zhí)行。

　　對于大數(shù)據(jù)量的抽取轉換（如1000萬條記錄），我們可以手工卸載成幾個文本文件，放到DataStage Server上，DataStage在抽取轉換時直接將文本文件內容裝載到內存中，省去了連接數(shù)據(jù)庫資源的消耗，并且可以同時執(zhí)行幾個Job（Job的設計可以重用），從而提高抽取轉換效率。

　　在客戶基本信息整合完成后，從不同系統(tǒng)將客戶的賬戶數(shù)據(jù)抽取出來，客戶的每個賬戶、賬戶類型、幣種、狀態(tài)、余額、積數(shù)、開戶、銷戶情況全部整合在一起，建立起一套較為完整的客戶總賬。在此基礎上，對客戶的資產負債總量、分布情況可以匯總統(tǒng)計，每日對資產負債變化進行跟蹤分析，可以全面地了解客戶在銀行的資產分布和變化狀況。同時，從各交易系統(tǒng)中獲得賬戶的交易情況，可以轉換為客戶的交易情況，分別統(tǒng)計不同時間段、不同交易地點、不同交易種類的客戶交易，從而了解客戶的交易習慣和喜好。客戶信息整合后，不同角度、不同層面的客戶分析可以全面展開。

　　結束語

　　目前，各個銀行都已具有強大的面向賬戶的交易系統(tǒng)。真正要做到面向客戶服務首先要建立完善的客戶信息系統(tǒng)。放棄目前各系統(tǒng)中分散零亂的客戶信息而從頭積累客戶信息是巨大的浪費，從分散的賬務系統(tǒng)中抽取整合客戶信息通過實踐是完全可行的。只要設計一個科學的方法，采用有效的工具，完全可以在很短的時間內將有效的數(shù)據(jù)提煉出來，建立起擁有幾百萬客戶的信息庫。客戶信息庫不僅為客戶服務提供了基礎，更為客戶分析創(chuàng)造了必要條件。

賽迪網(wǎng) 中國信息化(industry.ccidnet.com)