數(shù)據(jù)挖掘
數(shù)據(jù)挖掘(Data Mining,DM)是指從大量不完全的、有噪聲的、模糊的、隨機的數(shù)據(jù)中,提取隱含在其中的、有用的信息和知識的過程。其表現(xiàn)形式為概念(Concepts)、規(guī)則(Rules)、模式(Patterns)等形式。
目前業(yè)內(nèi)已有很多成熟的數(shù)據(jù)挖掘方法論,為實際應(yīng)用提供了理想的指導(dǎo)模型。CRISP-DM(Cross-Industry Standard Process for Data Mining)就是公認的、較有影響的方法論之一。CRISP-DM強調(diào),DM不單是數(shù)據(jù)的組織或者呈現(xiàn),也不僅是數(shù)據(jù)分析和統(tǒng)計建模,而是一個從理解業(yè)務(wù)需求、尋求解決方案到接受實踐檢驗的完整過程。CRISP-DM將整個挖掘過程分為以下六個階段:商業(yè)理解(Business Understanding),數(shù)據(jù)理解(Data Understanding),數(shù)據(jù)準(zhǔn)備(Data Preparation),建模(Modeling),評估(Evaluation)和發(fā)布(Deployment)。
商業(yè)理解就是對企業(yè)運作、業(yè)務(wù)流程和行業(yè)背景的了解;數(shù)據(jù)理解是對現(xiàn)有企業(yè)應(yīng)用系統(tǒng)的了解;數(shù)據(jù)準(zhǔn)備就是從企業(yè)大量數(shù)據(jù)中取出一個與要探索問題相關(guān)的樣板數(shù)據(jù)子集。建模是根據(jù)對業(yè)務(wù)問題的理解,在數(shù)據(jù)準(zhǔn)備的基礎(chǔ)上,選擇一種更為實用的挖掘模型,形成挖掘的結(jié)論。評估就是在實際中檢驗挖掘的結(jié)論,如果達到了預(yù)期的效果,就可將結(jié)論發(fā)布。在實際項目中,CRISP-DM模型中的數(shù)據(jù)理解、數(shù)據(jù)準(zhǔn)備、建模、評估并不是單向運作的,而是一個多次反復(fù)、多次調(diào)整、不斷修訂完善的過程。
行業(yè)數(shù)據(jù)挖掘
經(jīng)過多年的系統(tǒng)運營,壽險公司已積累了相當(dāng)可觀的保單信息、客戶信息、交易信息、財務(wù)信息等,也出現(xiàn)了超大規(guī)模的數(shù)據(jù)庫系統(tǒng)。同時,數(shù)據(jù)集中為原有業(yè)務(wù)水平的提升以及新業(yè)務(wù)的拓展提供了條件,也為數(shù)據(jù)挖掘提供了豐厚的土壤。
根據(jù)CRISP-DM模型,數(shù)據(jù)挖掘首先應(yīng)該做的是對業(yè)務(wù)的理解、尋找數(shù)據(jù)挖掘的目標(biāo)和問題。這些問題包括:代理人的甄選、欺詐識別以及市場細分等,其中市場細分對企業(yè)制定經(jīng)營戰(zhàn)略具有極高的指導(dǎo)意義,它是關(guān)系到企業(yè)能否生存與發(fā)展、企業(yè)市場營銷戰(zhàn)略制定與實現(xiàn)的首要問題。
針對壽險經(jīng)營的特點,我們可以從不同的角度對客戶群體進行分類歸納,從而形成各種客戶分布統(tǒng)計,作為管理人員決策的依據(jù)。從壽險產(chǎn)品入手,分析客戶對不同險種的偏好程度,指導(dǎo)代理人進行重點推廣,是比較容易實現(xiàn)的挖掘思路。由于國內(nèi)經(jīng)濟發(fā)展?fàn)顩r不同,各省差異較大,因此必須限定在一個經(jīng)濟水平相當(dāng)?shù)膮^(qū)域進行分析數(shù)據(jù)的采樣。同時,市場波動也是必須要考慮的問題,一個模型從建立到廢棄有一個生命周期,周期根據(jù)模型的適應(yīng)性和命中率確定,因此模型需要不斷修訂。
挖掘系統(tǒng)架構(gòu)
挖掘系統(tǒng)包括規(guī)則生成子系統(tǒng)和應(yīng)用評估子系統(tǒng)兩個部分。
規(guī)則生成子系統(tǒng)主要完成根據(jù)數(shù)據(jù)倉庫提供的保單歷史數(shù)據(jù),統(tǒng)計并產(chǎn)生相關(guān)規(guī)律,并輸出相關(guān)結(jié)果。具體包括數(shù)據(jù)抽取轉(zhuǎn)換、挖掘數(shù)據(jù)庫建立、建模(其中包括了參數(shù)設(shè)置)、模型評估、結(jié)果發(fā)布。發(fā)布的對象是高層決策者,同時將模型提交給應(yīng)用評估子系統(tǒng).根據(jù)效果每月動態(tài)生成新的模型。
應(yīng)用評估子系統(tǒng)可以理解為生產(chǎn)系統(tǒng)中的挖掘代理程序,根據(jù)生成子系統(tǒng)產(chǎn)生的規(guī)則按照一定的策略對保單數(shù)據(jù)進行非類預(yù)測。通過系統(tǒng)的任務(wù)計劃對生產(chǎn)數(shù)據(jù)產(chǎn)生評估指標(biāo)。具體包括核心業(yè)務(wù)系統(tǒng)數(shù)據(jù)自動轉(zhuǎn)入數(shù)據(jù)平臺、規(guī)則實時評估、 評估結(jié)果動態(tài)顯示、實際效果評估。規(guī)則評估子系統(tǒng)根據(jù)規(guī)則進行檢測。經(jīng)過一段時間的檢測,可利用規(guī)則生成子系統(tǒng)重新學(xué)習(xí),獲得新的規(guī)則,不斷地更新規(guī)則庫,直到規(guī)則庫穩(wěn)定。
目前比較常用的分析指標(biāo)有: 險種、交費年期、被保人職業(yè)、被保人年收入、被保人年齡段、被保人性別、被保人婚姻狀況等。
實踐中,可結(jié)合實際數(shù)據(jù)狀況,對各要素進行適當(dāng)?shù)娜∩幔⒆霾煌潭鹊母爬ǎ孕纬奢^為滿意的判定樹,產(chǎn)生可解釋的結(jié)論成果
計算機世界網(wǎng)(www.ccw.com.cn)