從呼叫中心通向CRM—數據倉庫必不可少

段云峰 楊鳳年 宋俊德　2002/04/19

　　在呼叫中心業(yè)務(wù)系統收集到大量數據之后，要將這些信息進(jìn)行有效利用，從而為CRM系統提供正確的依據，這個(gè)過(guò)程中，數據倉庫是必不可少的要素。數據倉庫是一項基于數據管理和利用的綜合性技術(shù)和解決方案，它將成為數據庫市場(chǎng)的新一輪增長(cháng)點(diǎn)，同時(shí)也將成為下一代應用系統的重要組成部分。

　　本文共分三大部分，介紹了數據倉庫及數據集市的概念，并對如何獲取高質(zhì)量信息、數據倉庫的設計和實(shí)現、數據倉庫系統中的三個(gè)工具層以及數據倉庫平臺的評測指標進(jìn)行了較為詳細的闡述，同時(shí)分析了數據倉庫的發(fā)展方向。

什么是數據倉庫？

　　1．數據倉庫概念解析

　　面對競爭日趨激烈與瞬息萬(wàn)變的市場(chǎng)，面對不同層次的大量信息，企業(yè)各級管理人員將如何應用，以便在企業(yè)的經(jīng)營(yíng)和管理中迅速做出正確的決策？

　　數據倉庫就是針對上述問(wèn)題而產(chǎn)生的一種技術(shù)方案，它是基于大規模數據庫的決策支持系統環(huán)境的核心。數據倉庫之父H·W·Inmon是這樣定義數據倉庫的：數據倉庫是一個(gè)面向主題的、集成的、不可更新的且隨時(shí)間不斷變化的數據集合，用來(lái)支持管理人員的決策。

　　我們常常會(huì )認為，數據倉庫是一個(gè)或一組產(chǎn)品，可以幫助我們得到問(wèn)題的答案，或幫助我們提高決策能力。其實(shí)數據倉庫并不是這么簡(jiǎn)單，它雖然可以幫助我們得到答案以便更好地做出決策，但這只是其全局過(guò)程的一部分。數據倉庫中的數據從何而來(lái)？數據如何進(jìn)入數據倉庫？如何維護數據倉庫？數據倉庫中的數據如何組織？這些都是建立數據倉庫之前必須回答的問(wèn)題。建立數據倉庫包括創(chuàng )建、管理、維護數據倉庫的所有活動(dòng)。因此，數據倉庫不是產(chǎn)品，而是解決方案。

　　數據倉庫和數據庫是不一樣的概念。數據倉庫是一個(gè)綜合的解決方案，而數據庫只是一個(gè)現成的產(chǎn)品。數據倉庫需要一個(gè)功能十分強大的數據庫引擎來(lái)驅動(dòng)。與關(guān)系數據庫不同，數據倉庫并沒(méi)有嚴格的數學(xué)理論基礎，它更偏向于工程。由于數據倉庫的這種工程性，在技術(shù)上可以根據它的工作過(guò)程分為數據的抽取、數據的存儲和管理、數據的表現以及數據倉庫設計的技術(shù)咨詢(xún)等四個(gè)方面。

　　2．數據倉庫與數據集市的區別

　　談到數據倉庫，就不可避免地談到數據集市。由于一些廠(chǎng)商的誤導，很多人往往把這兩個(gè)概念混淆了。數據集市也是當前非常熱門(mén)的一個(gè)術(shù)語(yǔ)，一種比較常見(jiàn)的誤解是，認為它與數據倉庫的差別只是數據量的大小而已。事實(shí)上，數據倉庫是企業(yè)級的，能為整個(gè)企業(yè)各個(gè)部門(mén)的運行提供決策支持手段: 而數據集市則是一種微型的數據倉庫，它通常有更少的數據，更少的主題區域，以及更少的歷史數據，因此是部門(mén)級的，一般只能為某個(gè)局部范圍內的管理人員服務(wù)，因此也稱(chēng)之為部門(mén)級數據倉庫。

　　數據集市有兩種，即獨立的數據集市（Independent Data Mart）和從屬的數據集市（Dependent Data Mart）。所謂從屬，是指它的數據直接來(lái)自于中央數據倉庫。顯然，從屬的數據集市的這種結構仍能保持數據的一致性。一般為那些訪(fǎng)問(wèn)數據倉庫十分頻繁的關(guān)鍵業(yè)務(wù)部門(mén)建立從屬的數據集市，這樣可以很好地提高查詢(xún)的反應速度。獨立數據集市，它的數據直接來(lái)源于各生產(chǎn)系統。許多企業(yè)在計劃實(shí)施數據倉庫時(shí)，往往出于投資方面的考慮，最后建成的就是這種結構的獨立數據集市，用來(lái)解決個(gè)別部門(mén)比較迫切的決策問(wèn)題。從這個(gè)意義上講，它和企業(yè)數據倉庫除了在數據量大小和服務(wù)對象上有所區別外，邏輯結構并無(wú)多大區別，這也是有人把數據集市稱(chēng)為部門(mén)數據倉庫的主要原因。

如何建立數據倉庫？

　　1．獲取高質(zhì)量的信息

　　數據倉庫作為決策支持系統(DSS)和聯(lián)機分析應用數據源的結構化數據環(huán)境所要研究和解決的問(wèn)題，就是從數據庫中獲取信息。數據質(zhì)量差是構建數據倉庫時(shí)需要解決的最困難的問(wèn)題之一，有許多不同的方法可以用于改善數據倉庫中信息的質(zhì)量。當發(fā)現在源系統中哪些地方存在數據質(zhì)量問(wèn)題之后，就需要研究一些方法來(lái)改善數據質(zhì)量。一種改善數據倉庫中數據質(zhì)量的方法是改善源系統中數據質(zhì)量: 另一種方法是在將數據從老系統移植到數據倉庫的過(guò)程中校正數據。

　　2．數據倉庫的設計和實(shí)現

　　（1）設計與實(shí)現過(guò)程

• 定義倉庫的體系結構，做容量規劃，選擇存儲服務(wù)器、數據庫、OLAP服務(wù)器以及其他工具；
• 集成服務(wù)器、存儲、客戶(hù)端工具；
• 設計倉庫的模式和視圖；
• 定義物理的數據倉庫結構，確定數據的存放、分區以及訪(fǎng)問(wèn)的方法；
• 使用數據網(wǎng)關(guān)、ODBC驅動(dòng)程序或者其他封裝器連接數據源；
• 設計并實(shí)現數據抽取、清洗、轉換、裝載和刷新的腳本程序；
• 將數據庫的模式、視圖定義、腳本以及其他元數據裝入倉庫；
• 設計并實(shí)現終端用戶(hù)的應用程序；
• 將數據倉庫和基于它的應用投入使用。

　　（2）需要注意的問(wèn)題

　　數據倉庫的模型設計（包括邏輯模型設計和物理模型設計）是系統的基礎和成敗的關(guān)鍵，在實(shí)際操作中應對下列問(wèn)題引起注意：

• 主題的確定：主題是一個(gè)邏輯概念，它應該能夠完整、統一地描述出分析對象所涉及的各項數據以及相互聯(lián)系。劃分主題的根據主要來(lái)源于兩方面: 對原有固定報表的分析和對業(yè)務(wù)人員的訪(fǎng)談。原有固定報表能較好地反映出以往工作對數據分析的需求，而且其數據含義和格式相對成熟、穩定，在模型設計中需要大量借鑒。

• 分析內容的細化：主題的劃分實(shí)際上是與分析內容的范圍直接相關(guān)的，一旦主題劃分清楚了，下一步就是細化分析的具體內容以及根據分析內容的性質(zhì)確定它在數據倉庫中的位置。通常，維元素對應的是分析角度，而度量對應的是分析所關(guān)心的具體指標。一個(gè)指標究竟是維元素、度量還是維屬性，取決于其具體的業(yè)務(wù)需求，但從實(shí)際操作中可以總結出這樣的概念性經(jīng)驗: 作為維元素或維屬性的通常是離散型的數據，只允許有限的取值；作為度量的是連續型數據，取值無(wú)限。

• 粒度的設計：數據倉庫模型中所存儲的數據的粒度，將對信息系統產(chǎn)生多方面影響。事實(shí)表中以各種維度的什么層次作為最細粒度，將決定存儲的數據能否滿(mǎn)足信息分析的功能需求，而粒度的層次劃分以及聚合表中粒度的選擇，將直接影響查詢(xún)的響應時(shí)間。

　　 在數據抽取過(guò)程中，應該注意以下幾點(diǎn)：

• 數據抽取的規則要作為元數據進(jìn)行規范和管理，抽取過(guò)程中的源表、源字段、目的表、目的字段、轉換規則以及轉換條件都要做好詳細記錄。這樣不僅便于編程人員實(shí)現，而且在抽取規則或邏輯模型發(fā)生變化時(shí)也便于修改。

• 如何記錄業(yè)務(wù)數據庫中的變動(dòng)情況，是數據抽取中一個(gè)重要的環(huán)節。由于數據倉庫中是按時(shí)間保存數據，因此不同時(shí)間點(diǎn)之間數據的差異就成為一個(gè)關(guān)鍵性因素。通常可以利用數據庫管理系統提供的手段在數據庫級產(chǎn)生數據變動(dòng)日志，根據日志再判斷數據的變動(dòng)情況完成抽取，這是一個(gè)從性能、可操作性以及對原業(yè)務(wù)系統的影響等多方面綜合考慮都比較理想的方法。

• 當數據倉庫中同一表中的數據來(lái)自于原有系統中不同的表，甚至不同的庫時(shí)，抽取時(shí)務(wù)必保證這些數據單位一致，而且都滿(mǎn)足同一時(shí)間條件。

• 數據抽取不僅要考慮數據的提取，還要考慮抽取的時(shí)間安排和執行方式，這樣才是一個(gè)完整的數據抽取方案，也才能保證抽取出來(lái)的數據準確、可用。

　　3．數據倉庫系統的三個(gè)工具層

　　OLAP的查詢(xún)分析型工具、DSS的分析預測型工具與數據挖掘型工具共同構成了數據倉庫系統的工具層。它們各自的側重點(diǎn)不同，適用范圍和針對的用戶(hù)也不相同。數據倉庫系統具備了這三種工具，人們才能真正高效地利用其中蘊藏的大量寶貴的信息。

　　（1）聯(lián)機分析處理（OLAP）

　　聯(lián)機分析處理主要通過(guò)多維的方式對數據進(jìn)行分析、查詢(xún)和報表。它不同于傳統的聯(lián)機事物處理（OLTP）應用。OLTP應用主要是用來(lái)完成用戶(hù)的事務(wù)處理，如民航訂票系統、銀行儲蓄系統等，通常要進(jìn)行大量的更新操作，同時(shí)對響應時(shí)間要求比較高。而OLAP應用主要是對用戶(hù)當前及歷史數據進(jìn)行分析，輔助領(lǐng)導決策。其典型的應用有對銀行信用卡風(fēng)險的分析與預測、公司市場(chǎng)營(yíng)銷(xiāo)策略的制定等，主要是進(jìn)行大量的查詢(xún)操作，對時(shí)間的要求不太嚴格。

　　目前常見(jiàn)的OLAP主要有基于多維數據庫的MOLAP及基于關(guān)系數據庫的ROLAP。在數據倉庫應用中，OLAP應用一般是數據倉庫應用的前端工具，同時(shí)OLAP工具還可以與數據挖掘工具、統計分析工具配合使用，增強決策分析功能。

　　（2）決策支持系統（DSS）

　　決策支持系統(DSS)和數據倉庫的目標用戶(hù)相同，都是面向企業(yè)的中高層領(lǐng)導，它們執行的都是決策和趨勢分析類(lèi)的應用。DSS中的一些技術(shù)可以很好地集成到數據倉庫中，并使數據倉庫的分析能力更加強大。例如：DSS中的傳統統計分析模型可以幫助用戶(hù)對數據倉庫中的數據進(jìn)行更加有效、更加深入的分析，從而更好地掌握和利用信息。而一些智能決策技術(shù)，如人工神經(jīng)網(wǎng)絡(luò )在發(fā)現顧客行為模式、預測金融市場(chǎng)行為等方面顯示了強大的功能。這些DSS的核心技術(shù)在數據倉庫中的應用，不但會(huì )大大提高數據倉庫的決策支持能力，同時(shí)也使DSS的應用范圍更加廣泛。

　　（3）數據挖掘

　　數據挖掘是當前業(yè)界的熱門(mén)技術(shù)，已經(jīng)在多個(gè)應用領(lǐng)域產(chǎn)生了巨大的效益。數據挖掘不一定需要建立在數據倉庫的基礎上，但是如果將數據挖掘和數據倉庫協(xié)同工作，則可以簡(jiǎn)化數據挖掘過(guò)程的某些步驟，從而大大提高數據挖掘的工作效率。由于數據倉庫的數據來(lái)源于整個(gè)企業(yè)，保證了數據挖掘中數據來(lái)源的廣泛性和完整性。數據挖掘技術(shù)是數據倉庫應用中比較重要且相對獨立的部分。目前，數據挖掘技術(shù)正處在發(fā)展當中。數據挖掘涉及到數理統計、模糊理論、神經(jīng)網(wǎng)絡(luò )和人工智能等多種技術(shù)，技術(shù)含量比較高，實(shí)現難度較大。此外，數據挖掘技術(shù)還會(huì )同可視化技術(shù)、地理信息系統、統計分析系統相結合，豐富數據挖掘技術(shù)及工具的功能與性能。

　　4．數據倉庫平臺的評測指標

　　由于許多數據庫廠(chǎng)商都在大力推廣和宣傳自己的數據倉庫解決方案，使最終用戶(hù)無(wú)所適從。那么，是否有第三方機構或組織制訂一個(gè)比較公正而權威的評測標準呢？回答是肯定的。

　　目前，專(zhuān)門(mén)針對數據倉庫平臺的評測指標主要有兩個(gè)：

　　（1）TPC-D

　　TPC是一個(gè)國際性的組織，由45個(gè)會(huì )員公司組成，IBM、Microsoft、NCR、NEC、HP、Sun等跨國公司都是其會(huì )員。TPC專(zhuān)門(mén)負責為各種開(kāi)放平臺在不同類(lèi)型的應用上制定一個(gè)統一、公正的測試標準。

　　對于OLTP系統，衡量其數據庫性能的主要指標是TPC-C，這里不做分析。對于數據倉庫系統，衡量其數據庫性能的主要指標則是TPC-D。主要有3方面的數據需要考慮：

• QppD：描述系統的查詢(xún)處理能力。
• QthD： 即流量測試結果，描述系統在多個(gè)用戶(hù)同時(shí)進(jìn)行查詢(xún)時(shí)的處理能力。換言之，它也充分代表了系統的并行處理能力。
• QphD：即價(jià)格性能比。

　　顯然，前面兩個(gè)指標的數據越大越好，而最后一個(gè)則越小越好。當然，首先要考慮的應該是能否滿(mǎn)足業(yè)務(wù)上的需求。

　　各家供應商的TPC-D值以及TPC-D的詳細描述可以從TPC在Internet的主頁(yè)上找到。另外，也可以從Microsoft、IDEAS等公司的主頁(yè)上找到TPC-D的測試結果。

　　需要做些說(shuō)明的是流量測試結果。盡管它描述了系統處理并發(fā)查詢(xún)請求的能力，但并非所有廠(chǎng)商的流量測試都是在多用戶(hù)狀態(tài)下進(jìn)行的。TPC-D給了供應商們一個(gè)選擇: 直接進(jìn)行多用戶(hù)狀態(tài)下的流量測試; 或者先在單用戶(hù)狀態(tài)下進(jìn)行測試，然后利用測得的處理能力指標QppD和流量指標的計算公式來(lái)計算出QthD。

　　如何區分這兩種測試結果呢？只要把TPC-D的測試概要下載并打印出來(lái)，就可以了解在做流量測試時(shí)的Stream數目。Stream數實(shí)際上代表了同時(shí)遞交查詢(xún)請求的用戶(hù)個(gè)數。如果是單用戶(hù)狀態(tài)下的測試，則只能發(fā)現一個(gè)Stream，即Stream00。

　　（2）Data Challenge

　　由于TPC-D對測試的數據庫模型、數據的加載以及所有查詢(xún)都做了非常嚴格的規定，這樣，參與測試的各廠(chǎng)商有可能預先做許多調整，使其性能更好，致使數據倉庫的實(shí)際應用情況與之有較大的區別。因此，TPC-D的測試結果主要給用戶(hù)在做數據倉庫軟硬件平臺選型時(shí)提供一個(gè)初步的參考。

　　除TPC-D以外，還有一個(gè)于1998年5月宣布的稱(chēng)為Data Challenge（數據挑戰）的測試標準。與TPC-D不一樣的是，它非常注重考察系統的動(dòng)態(tài)查詢(xún)能力，所有查詢(xún)都不公開(kāi)，參與測試的廠(chǎng)商無(wú)法做預先的調整。測試前由各廠(chǎng)商按照規定設置好環(huán)境，然后由Data Challenge公司的技術(shù)專(zhuān)家來(lái)進(jìn)行各種性能評測。

　　當用戶(hù)在決定選擇一個(gè)廠(chǎng)商為其實(shí)施數據倉庫系統時(shí)，至少應該考慮以下問(wèn)題：

• 目前業(yè)務(wù)部門(mén)有些什么急需解決的問(wèn)題，這些問(wèn)題借助傳統的生產(chǎn)系統能解決嗎？
• 所選廠(chǎng)商在此行業(yè)是否有實(shí)施數據倉庫的經(jīng)驗？效果如何？
• 目前有多大的數據量，今后的擴展要求如何，能不能做在線(xiàn)的升級？
• 系統的并行處理能力怎樣？因為它將直接影響系統處理復雜查詢(xún)和動(dòng)態(tài)查詢(xún)的能力。
• 對系統的管理是否復雜？有沒(méi)有數據庫重組的問(wèn)題？因為復雜的管理需要很多的數據庫管理員，這種人工是非常昂貴的。
• 系統的高可用性和可靠性如何？當系統發(fā)生故障時(shí)，對業(yè)務(wù)產(chǎn)生的影響有多大，企業(yè)對這種故障的容忍程度如何？

　　當認真考慮了以上各方面的問(wèn)題后，所投資建立的實(shí)際系統一般都能達到預期的效果。

數據倉庫向何處去？

　　1．技術(shù)趨勢

　　數據倉庫技術(shù)的發(fā)展包括數據抽取、存儲管理、數據表現和方法論等方面。

　　在數據抽取方面，未來(lái)的技術(shù)發(fā)展將集中在系統集成化方面。它將互聯(lián)、轉換、復制、調度、監控等納入標準化的統一管理，以適應數據倉庫本身或數據源的變化，使系統更加便于管理和維護。

　　在數據管理方面，未來(lái)的發(fā)展將使數據庫廠(chǎng)商明確推出數據倉庫引擎，并作為服務(wù)器產(chǎn)品與數據庫服務(wù)器并駕齊驅。在這一方面，帶有決策支持擴展的并行關(guān)系數據庫將最具發(fā)展潛力。

　　在數據表現方面，數理統計的算法和功能將被普遍集成到聯(lián)機分析產(chǎn)品中，同時(shí)與Internet/Web技術(shù)緊密結合，推出適用于Intranet、終端免維護的數據倉庫訪(fǎng)問(wèn)前端。在這個(gè)方面，按行業(yè)應用特征細化的數據倉庫用戶(hù)前端軟件將形成產(chǎn)品，并作為數據倉庫解決方案的一部分。數據倉庫實(shí)現過(guò)程的方法論將更加普及，將成為數據庫設計的一個(gè)明確分支，成為管理信息系統設計的必備部分。

　　計算機應用發(fā)展的數據倉庫傾向，是數據倉庫發(fā)展的推動(dòng)力。傳統的聯(lián)機事務(wù)處理系統并不單獨考慮數據倉庫，但實(shí)際應用對數據倉庫所能提供的功能卻早有需求。因此，許多事務(wù)處理系統近年來(lái)陷入一個(gè)兩難的境地：在現有系統上增加有限的聯(lián)機分析功能，包括復雜的報表和數據匯總操作，這樣一方面嚴重影響了事務(wù)處理聯(lián)機性能，另一方面，統計分析又因系統結構上的種種限制而不能得到充分體現。因此，應用技術(shù)是朝著(zhù)更加細化、更加專(zhuān)業(yè)的方向發(fā)展。

　　在新一代的應用系統中，數據倉庫在一開(kāi)始便被納入系統設計的考慮之中，聯(lián)機分析將被應用于普遍的事務(wù)處理系統之中。在數據管理上，聯(lián)機事務(wù)處理和數據倉庫在應用中相對獨立，聯(lián)機事務(wù)處理系統本身將更加簡(jiǎn)潔高效，同時(shí)分析統計也更為便利。面向行業(yè)的數理統計學(xué)向更為普遍的應用發(fā)展，并集成到應用系統的數據倉庫解決方案中。它們將立足于數據倉庫所提供的豐富信息，更好地為業(yè)務(wù)決策服務(wù)。

　　2．市場(chǎng)預測

　　在市場(chǎng)上，可以從廠(chǎng)商和用戶(hù)兩個(gè)方面看數據倉庫的發(fā)展。對于提供數據倉庫產(chǎn)品和解決方案的廠(chǎng)商來(lái)說(shuō)，嚴酷的市場(chǎng)競爭是永恒的主題，無(wú)法提供完整解決方案的廠(chǎng)商，可能被其他公司收購。例如，從事數據抽取、提供專(zhuān)用工具的軟件公司很可能并入大型數據庫廠(chǎng)商。能夠持續發(fā)展的廠(chǎng)商大致有兩類(lèi)：一是擁有強大的數據庫、數據管理背景的公司；二是專(zhuān)門(mén)提供面向具體行業(yè)的、關(guān)于數據倉庫實(shí)施的技術(shù)咨詢(xún)的公司。

　　從用戶(hù)的角度看，數據管理的傳統領(lǐng)域，如金融、保險、電信等行業(yè)中的特定應用，除信用分析、風(fēng)險分析、欺詐檢測之外，數據倉庫的應用將隨著(zhù)現代社會(huì )商業(yè)模式的變革而進(jìn)一步普及和深入。

　　近年來(lái)，一場(chǎng)革命正在改變產(chǎn)品制造和服務(wù)的提供方式，它就是數字化定制經(jīng)濟模式。在這個(gè)世界里，用戶(hù)可以購買(mǎi)一臺根據自己要求組裝的計算機、一條根據自己體形設計的牛仔褲、一種根據自己身體需要而生產(chǎn)的保健藥、一副與自己臉型相配的眼鏡……大規模的定制不僅是一種制造過(guò)程、后勤系統或者推銷(xiāo)策略，它很可能成為企業(yè)生產(chǎn)的組織原則。在未來(lái)大規模定制經(jīng)濟環(huán)境下，數據倉庫將成為企業(yè)獲得競爭優(yōu)勢的關(guān)鍵武器。

計算機世界報　2002/04/19