呃～您沒(méi)走錯房間，這里是Genesys非官方個(gè)人作祟技術(shù)公眾號。偶只是借這個(gè)血案的名字想寫(xiě)一篇技術(shù)文章而已，好吧，正文開(kāi)始，主題：一個(gè)IVR技術(shù)運維失誤引發(fā)的故障處理復盤(pán)，鑒于客戶(hù)信息敏感，謝絕八卦咨詢(xún)。
首先咱們先上課～
眾所周知，Genesys看家的GVP平臺是久經(jīng)考驗的IVR戰士～以其多種角色，多種功能，百般變化而著(zhù)稱(chēng)。系統可以支持的特性包括：
- VXML亦即IVR
- VXML+CCXML亦即DTMF控制會(huì )議橋
- Conference亦即會(huì )議
- Anncoucement亦即音樂(lè )服務(wù)
- RecordingClient亦即錄音
- CPD亦即外呼偵測
- Media亦即媒體服務(wù)
- Treatment亦即各種Tone
- MSML
GVP的本領(lǐng)這么多，自然是極好的。奈何軟件化的MediaServer平臺能力受制于所承載的Host性能，所以通常概念上我們會(huì )說(shuō)一臺MediaServer（媒體服務(wù)器）能夠支持X百個(gè)端口，那要是客戶(hù)說(shuō)我有上千上萬(wàn)個(gè)端口呢？
能量不夠，數量來(lái)湊～謝謝
于是便有了資源管理器Resource Manager，提供LRG邏輯資源組的配置，將同氣相求的MCP（亦即Media Server）組隊一起打怪。所謂的“同氣相求”大致來(lái)說(shuō)可以認為是：
- 具備相同的業(yè)務(wù)屬性
比如都是專(zhuān)屬I(mǎi)VR的媒體服務(wù)或者專(zhuān)屬Recording的媒體服務(wù)
- 具備相同的位置屬性
比如屬地化原則，媒體服務(wù)本地化響應，專(zhuān)業(yè)術(shù)語(yǔ)geo-location
那么好像就是這樣：
這個(gè)方案的架構是非常漂亮的，如果您覺(jué)得RM雙活還夠保險，還可以再為添加一對RM，構建GVP Multisite，充分解決信令擁塞瓶頸。
那么問(wèn)題來(lái)了，GVP的報表怎么辦？G廠(chǎng)提供了貼心的IVR的報表服務(wù)器，GVP Reporting Server，可以提供IVR的CDR數據、業(yè)務(wù)峰值數據、傳輸時(shí)延數據亦即VAR數據，大概的數據流向示意圖如下：
所有的媒體服務(wù)器和資源管理器會(huì )將所有的Call數據傳遞給GVP Reporting Server，報表服務(wù)器經(jīng)過(guò)數據處理后寫(xiě)入GVP Reporting數據庫，同時(shí)提供Web Service給GA／GAX或者第三方網(wǎng)管使用。
用戶(hù)IVR的端口數如果過(guò)多（當然G廠(chǎng)很開(kāi)心），也就是MCP的數量過(guò)多時(shí)，問(wèn)題就出現了：
大規模的MCP在用戶(hù)業(yè)務(wù)忙時(shí)會(huì )發(fā)送大量的報表數據給Reporting Server，由于GVP Reporting Server使用ActiveMQ技術(shù)，當數據處理不及時(shí)或者與報表數據庫的連接發(fā)生中斷時(shí)，GVP Reporting Server只得采用最后一招，寫(xiě)入本地硬盤(pán)，可要是硬盤(pán)塞滿(mǎn)會(huì )怎樣？
鏈式發(fā)應開(kāi)始了...。
Reporting Server的硬盤(pán)塞滿(mǎn)，導致Hostdown；
Reporting Server的Host不可用，MCP&RM找不到DataSink；
由于無(wú)法上傳報表數據，MCP&RM將數據接入各自本地硬盤(pán)；
如果RM的硬盤(pán)也是塞滿(mǎn)了...。
那么整個(gè)GVP就offline。
在過(guò)去的五年里，此類(lèi)故障發(fā)生過(guò)兩次，影響力巨大。那么就有人說(shuō)了，你這么講我是不是可以理解你們的系統設計有缺陷呀？
怎么會(huì )呢？
MCP和RM的配置中均包含：
cdr.max_throughput
cdr.local_queue_max
ors.local_queue_max
sqa.local_queue_max
ors.reportinginterval
其實(shí)可以設置上傳速率和間隔時(shí)間，本地硬盤(pán)存儲容量，有效地管控風(fēng)險。
同時(shí)，SCS的LCA和SNMP Master Agent也可以對Reporting Server所在Host的硬盤(pán)、CPU和進(jìn)程進(jìn)行監控，也可以對數據庫Host的監控。
同時(shí)，GVP Reporting Server還可以支持分布式部署（實(shí)時(shí)報表與歷史報表分離）和無(wú)數據庫部署（Nod Bmode）
真傳一句話(huà)：部署和運維時(shí)的一小步，后面省了多少步呀。
