數據采集介紹及其應用

2003/07/04

　　作為一名資深的電信系統集成營(yíng)銷(xiāo)人員，我經(jīng)常接觸系統營(yíng)運商、CTI呼叫/服務(wù)中心。近來(lái)最熱門(mén)的話(huà)題是數據采集和數據存儲。而且我們的客戶(hù)、供應商、銀行業(yè)職員、一些業(yè)務(wù)主管以及象客戶(hù)關(guān)系經(jīng)理、直銷(xiāo)經(jīng)理、業(yè)務(wù)計劃主管、財務(wù)管理者和CIO等職能部門(mén)的經(jīng)理們也在談?wù)撨@一話(huà)題。

　　讓我來(lái)舉例說(shuō)明那些呼叫中心正面臨的典型的工作任務(wù)/目標和難題：

　　1． 一家臺灣的呼叫中心為移動(dòng)/固定電話(huà)客戶(hù)和供應商提供有接線(xiàn)生服務(wù)的呼叫業(yè)務(wù)和預付費電話(huà)卡業(yè)務(wù)。該呼叫中心每天要處理數千次呼叫、監控每一個(gè)呼叫中心的呼叫業(yè)務(wù)量和處理情況，以確保最佳的客戶(hù)滿(mǎn)意度。為使呼叫中心的工作達到最優(yōu)化，他們實(shí)施客戶(hù)基礎管理和在線(xiàn)系統，可以實(shí)現象呼叫業(yè)務(wù)量、每次呼叫費用分析、呼叫卡使用和客戶(hù)優(yōu)選設置的自動(dòng)報告。他們對打進(jìn)電話(huà)或網(wǎng)絡(luò )查詢(xún)提供含正確數據的實(shí)時(shí)業(yè)務(wù)。即使這樣，該呼叫中心還是有巨大的壓力，電信營(yíng)運商將在象中國這樣的地區以較低的營(yíng)運成本的呼叫中心取代他們。

　　2． 南美呼叫中心

　　由于南美地區電信壟斷的打破，電信業(yè)在這一領(lǐng)域正在蓬勃發(fā)展。以智利電信公司為例，壟斷電信公司為客戶(hù)服務(wù)的成本很高，這為新的玩家（從互聯(lián)網(wǎng)業(yè)務(wù)供應商到移動(dòng)電話(huà)公司）進(jìn)入市場(chǎng)提供了方便之門(mén)。隨著(zhù)語(yǔ)音IP技術(shù)和多業(yè)務(wù)網(wǎng)絡(luò )的興起，客戶(hù)比以前有越來(lái)越多的選擇。由于基本的電信業(yè)務(wù)已成為商品，獲勝者將屬于那些能夠提供最佳客戶(hù)服務(wù)的公司。

　　以上例子表明，他們正致力于通過(guò)以下性能指標改善其服務(wù)：

- 增加客戶(hù)忠誠度和壽命價(jià)值。
- 提高銷(xiāo)售和營(yíng)銷(xiāo)方案的有效性。
- 通過(guò)監控呼叫中心的營(yíng)運狀況來(lái)最大限度地提高響應速度。
- 增加產(chǎn)品、服務(wù)和客戶(hù)的越區銷(xiāo)售收入。

　　通過(guò)分析呼叫通信量、網(wǎng)絡(luò )通信量和及其使用模式來(lái)使網(wǎng)絡(luò )性能最優(yōu)化。

　　當今的電信市場(chǎng)受基于成本和業(yè)務(wù)增長(cháng)的挑戰。他們需要更強有力的武器從其日常的大量客戶(hù)的基礎數據中發(fā)掘極具價(jià)值的東西。當今由專(zhuān)家推薦的武器是“商業(yè)情報”，而獲取情報的關(guān)鍵技術(shù)是數據采集、數據存儲和在線(xiàn)分析處理。

什么是數據采集?

　　根據Gartner研究機構的定義，數據采集是指通過(guò)查看數據庫中存儲的大量數據來(lái)發(fā)現有意義的和新的相互關(guān)系、模式及趨勢和使用模式識別技術(shù)和統計的、精確的技術(shù)的過(guò)程。

　　這些相互關(guān)系、模式和趨勢描述按科學(xué)的方法支持獲得競爭優(yōu)勢的商業(yè)預測和聯(lián)合決策。同時(shí)它也可以解釋為一種從大量原始數據中提取有價(jià)值的知識的過(guò)程，而一般人無(wú)法從大量數據中發(fā)現這種知識。沒(méi)有專(zhuān)用工具的分析家們不會(huì )再明白為作出業(yè)務(wù)決策而需要處理的大量數據的含義。數據采集使得在原始數據中發(fā)現相互關(guān)系和模式的過(guò)程自動(dòng)化并提供既可用于自動(dòng)化決策支持系統（DSS）也可被分析家評估的結果。應向這個(gè)客戶(hù)推出何種商品？

- 某個(gè)客戶(hù)對一個(gè)計劃好的促銷(xiāo)作出反應的可能性有多大？
- 能否預測準備在下一個(gè)交易時(shí)段買(mǎi)進(jìn)或賣(mài)出的最有利可圖的有價(jià)證券？
- 這個(gè)客戶(hù)是會(huì )拖欠貸款還是按時(shí)償還貸款？
- 對這個(gè)病人作出的醫療診斷結果是什么?
- 一個(gè)電話(huà)或能量網(wǎng)絡(luò )的最高載荷會(huì )有多大？
- 如何采集和跟蹤網(wǎng)絡(luò )行為數據？

　　如果能夠明確發(fā)現和利用隱藏在你的數據庫中的數兆字節的數據里的信息，那么以上這些問(wèn)題會(huì )迎刃而解。為被研究的系統建模和在數據庫中發(fā)現連接變量的關(guān)系是數據采集的主題。

數據采集不只是分析處理

　　數據采集系統可以自動(dòng)記錄以前的被研究的歷史，它明確地敘述和測試有關(guān)系統的假設。通過(guò)數據采集，用戶(hù)可以發(fā)現模式并自動(dòng)建模，而無(wú)需確切知道用戶(hù)在尋找的內容。所建立的模式可以是敘述性的，也可以是預期性的。這可以說(shuō)明事件發(fā)生的原因（對格式化模式）以及下一次可能發(fā)生的事件（預期）。

　　當有關(guān)重要系統的簡(jiǎn)明而有價(jià)值的知識被發(fā)現時(shí)， 這種知識能夠被合并或連接到聯(lián)合決策支持結構中， 這有助于執行經(jīng)理作出明智的決策。簡(jiǎn)而言之，數據采集是企業(yè)決策支持系統結構(DSS)中的一個(gè)新的組成部分。

　　它補充和結合其它象詢(xún)問(wèn)、報告、在線(xiàn)分析處理、數據顯示和傳統統計處理等DSS性能。不象傳統數據庫那樣，它們分布在每一個(gè)獨立的部門(mén)中，很難將每一個(gè)數據庫其合并到一個(gè)庫中。

　　在線(xiàn)分析處理包括在線(xiàn)交易處理（象銀行業(yè)交易）和在線(xiàn)分析處理，它們都是非常普通的方法。但是數據采集旨在發(fā)掘更深層次的東西，并發(fā)現模式標準。

數據采集有何作用?

　　確定最佳前景，象對待客戶(hù)一樣留住它們。
僅僅根據最佳前景重點(diǎn)集中進(jìn)行營(yíng)銷(xiāo)，你會(huì )節省時(shí)間和金錢(qián)，從而提高營(yíng)銷(xiāo)行動(dòng)的有效性。

預測越區銷(xiāo)售的機會(huì )并作出推薦

　　無(wú)論你是采用傳統的還是基于網(wǎng)站的銷(xiāo)售方式，你都可以幫助客戶(hù)迅速定位他們感興趣的產(chǎn)品并同時(shí)提升與你的客戶(hù)溝通的價(jià)值。

獲得影響銷(xiāo)售和利潤趨勢的參數

　　你是否認為可以通過(guò)OLAP工具來(lái)做到這一點(diǎn)? 的確如此，OLAP能夠幫助你驗證假設- 但唯一的前提是你需要知道提問(wèn)的問(wèn)題。在大多數案例中，你沒(méi)有關(guān)于影響銷(xiāo)售的參數組合線(xiàn)索。在這類(lèi)情形下，數據采集是你唯一的真實(shí)的選擇。

市場(chǎng)劃分和通信個(gè)人化

　　可能有一系列獨特的客戶(hù)、患者或自然現象需要通過(guò)不同的方式來(lái)對待。如果你有一個(gè)廣泛的客戶(hù)群，你需要選定包括不同產(chǎn)品和信息的不同的目標，以?xún)?yōu)化市場(chǎng)營(yíng)銷(xiāo)活動(dòng)。

數據采集有助于減少人們憑猜測所做的工作

　　有時(shí)會(huì )出現以下兩種情況，當分析家們在尋找復雜的多個(gè)從屬因素時(shí)，他們所做的處理數據顯示出人腦的不足以及在從事這樣的分析時(shí)缺乏目的性。一個(gè)專(zhuān)家會(huì )一直成為以前研究其它系統的經(jīng)驗的代表。

數據采集具有機器改進(jìn)的低成本

　　使用自動(dòng)數據采集系統的另一個(gè)好處是這個(gè)過(guò)程有比雇用經(jīng)過(guò)嚴格培訓的專(zhuān)業(yè)統計員低得多的成本。雖然數據采集不能完全消除人類(lèi)對任務(wù)的參與，但它極大地簡(jiǎn)化了工作并允許一個(gè)非統計和編程專(zhuān)業(yè)的分析家管理從數據中采集信息的過(guò)程。

數據采集的任務(wù)

預測
　　從現有案例中獲取模型和利用開(kāi)發(fā)的模型預測未來(lái)的目標變量的價(jià)值。

分類(lèi)
　　發(fā)現將記錄歸并到幾個(gè)離散類(lèi)中的功能。

關(guān)系檢測
　　為已選擇的目標變量搜尋最有影響的獨立變量。

外部建模
　　發(fā)現描述各種變量間相關(guān)性的明確的外部模式。

集群
　　識別一系列彼此相似但不同于數據的其余部分的記錄。通常，提供最佳集群的變量也可以被識別。

偏差檢測
　　確定在源于以前或期望的值的數據測量中所產(chǎn)生的最重要的變更。

市場(chǎng)目標分析
　　就象處理交易數據以便發(fā)現銷(xiāo)量很好的產(chǎn)品系列。人們也在尋求識別最佳產(chǎn)品的指南。

　　上述應用到具體對象中的數據采集的方法仍需參考以下標準：
- 獲得計算結果的關(guān)鍵控制
- 已開(kāi)發(fā)的經(jīng)驗模型的解釋
- 搜索過(guò)程的自動(dòng)控制的程度和輕松的使用

　　為建立從更加傳統的數據分析方法通往數據采集方法的橋梁， 我們要從面向對象分析系統 (OLTP)和統計軟件包轉向步進(jìn)順序：

1. 定義需要從數據庫獲取的項目和數據，
2. 進(jìn)行實(shí)驗設計，
3. 選擇合適的建模技術(shù)，
4. 進(jìn)行實(shí)際的現場(chǎng)測試，
5. 更新和維護系統

　　原始數據采集分析按以下方式分類(lèi)：
- 定向分析：包括分類(lèi)、預算和預測等。
-非定向分析：包括集群、同類(lèi)分組和關(guān)聯(lián)法則。

　　當你定義需要從數據庫獲取的項目和數據，以處理數據采集時(shí)，你需要在進(jìn)行實(shí)際的現場(chǎng)測試前進(jìn)行實(shí)驗設計。

　　通常，人們會(huì )問(wèn)應如何有效地建模，當然，這要取決于公司目標、問(wèn)題和數據類(lèi)型的選擇。數據采集應用建模方法和軟件工具如下：
- 中性網(wǎng)絡(luò )
- 演進(jìn)規劃
- 基于存儲器的論證
- 決策圖表
- 起源算法
- 非線(xiàn)性回歸方法
- 嵌入式工具 (OLAP-輔助工具，特別詢(xún)問(wèn))

　　數據采集的軟件算法和工具不限于結構化數據，它還適用于非結構化數據和網(wǎng)站文本。

　　現以決策樹(shù)為例進(jìn)行說(shuō)明，決策樹(shù)算法提供將數據記錄分類(lèi)為多個(gè)分類(lèi)等級的任務(wù)。通過(guò)產(chǎn)生一組競爭分類(lèi)樹(shù)（每個(gè)樹(shù)對應相應的等級），從而獲得解決方案。這種DT算法開(kāi)發(fā)出最佳的分類(lèi)樹(shù)，這些樹(shù)的分支包括對在相應等級中的記錄進(jìn)行分類(lèi)的可能性。

　　該算法有著(zhù)眾多的應用。例如，它可以用來(lái)建立標準，即：強大的醫療專(zhuān)家系統在醫師的幫助下通過(guò)對患者的自動(dòng)化診斷完成復雜的任務(wù)。

　　DT算法也是將包含自然語(yǔ)言文本的記錄以預先確定的等級進(jìn)行分類(lèi)的無(wú)價(jià)之寶。

　　該算法也常常與文本分析算法結合使用。例如， 借助文本分析由分類(lèi)樹(shù)產(chǎn)生的分類(lèi)標準可用于自動(dòng)化分類(lèi)和發(fā)往普通e-mail地址的e-mail 訊息的指令發(fā)送。

Web數據采集

　　Web智能可用來(lái)開(kāi)發(fā)電子商務(wù)。它能夠分析、設法交互聯(lián)系和訪(fǎng)問(wèn)大量的原始網(wǎng)站數據，以迅速識別趨勢和模式。 很難從網(wǎng)站中捕獲真正的訪(fǎng)問(wèn)者智能，因為很多人在網(wǎng)站中留下虛假信息。

　　訪(fǎng)問(wèn)者智能可以精確判斷在線(xiàn)營(yíng)銷(xiāo)活動(dòng)程序、目錄編寫(xiě)、研究和銷(xiāo)售規劃等。

　　對web敏感的公司正在開(kāi)發(fā)一個(gè)web采集系統。OLAP 和特別詢(xún)問(wèn)技術(shù)也適用于基于實(shí)時(shí)處理和以分鐘計時(shí)的報告的web 采集。

文本采集
　　除結構數據外，經(jīng)常出現的現有數據包括自然記錄。但是機構獲得的有些知識是以文本文件表述的。因此要考慮以下情形：

可擴展的調查詢(xún)問(wèn)
　　分析在可擴展的客戶(hù)調查中捕獲的數據。

呼叫中心的記錄
　　處理以保險索賠為內容的自然語(yǔ)言記錄或呼叫中心接線(xiàn)員所做的記錄。

對接收到的E-mail進(jìn)行分類(lèi)
　　自動(dòng)對發(fā)往普通支持地址的電子郵件進(jìn)行分類(lèi)，并重新將每一個(gè)郵件分發(fā)至合適的專(zhuān)家信箱中進(jìn)行有效的處理。

網(wǎng)站商業(yè)采集
　　舉例說(shuō)明，它可以自動(dòng)跟蹤諸如產(chǎn)品目錄、為最大限度地實(shí)現越區銷(xiāo)售或就地廣告而設計的購物推車(chē)以及衡量營(yíng)銷(xiāo)方案有效性的促銷(xiāo)的網(wǎng)站商業(yè)活動(dòng)。

圖形化工具
　　使用該工具可以瀏覽諸如網(wǎng)頁(yè)微型畫(huà)、橫幅廣告和地圖等基本內容。也可以通過(guò)帶探測引擎的鏈接分析，它可以揭示和清楚表明個(gè)體的直觀(guān)特征間的關(guān)聯(lián)性的復雜圖案。

小結

　　當今的數據采集是通過(guò)數據庫和經(jīng)由互聯(lián)網(wǎng)提供可獲得的數據資源的數字采集解決方案。這是一種含低總成本和顯著(zhù)投資回報的快速部署。該程序是精確的分析系統并以實(shí)時(shí)或在線(xiàn)形式運行。它也是行業(yè)領(lǐng)導人正在尋找的可預期的和切實(shí)可行的應用程序。這就是數據采集的魔力。

* 本文經(jīng)過(guò)GreaterChinaCRM許可轉載

GreaterChinaCRM (www.gccrm.com)