案例背景
某大學(xué)校園網(wǎng)內(nèi)部的數(shù)據(jù)中心最近一段時間通過流量監(jiān)控設(shè)備發(fā)現(xiàn)流量比以前高很多，校內(nèi)及校外均有人反映訪問數(shù)據(jù)中心服務(wù)器的速度比較慢。根據(jù)用戶介紹前段時間在數(shù)據(jù)中心與校園網(wǎng)核心交換機(jī)之間部署了一臺流量分流設(shè)備，用于IDS及其他安全設(shè)備采集網(wǎng)絡(luò)數(shù)據(jù)。用戶懷疑是該設(shè)備問題導(dǎo)致的異常，但并沒有有力的證據(jù)。
根據(jù)故障現(xiàn)象我們在用戶網(wǎng)絡(luò)中部署了科來回溯分析系統(tǒng)，分別鏡像流量異常的兩端（校園網(wǎng)核心交換、數(shù)據(jù)中心匯聚交換機(jī)）的流量進(jìn)行數(shù)據(jù)包級分析。
案例分析
1. 校園網(wǎng)核心交換采集數(shù)據(jù)分析
在校園網(wǎng)核心交換處通過科來回溯分析系統(tǒng)采集的數(shù)據(jù)包，我們通過TCP會話視圖可以看到從數(shù)據(jù)中心發(fā)過來的數(shù)據(jù)包的TCP序列號兩兩重復(fù)，而且間隔時間非常短，從核心交換發(fā)往數(shù)據(jù)中心的數(shù)據(jù)包則沒有出現(xiàn)這種情況。這一現(xiàn)象可以排除TCP重傳的可能性，因為超時重傳需要等待兩倍RTT延時，發(fā)送方不可能如此短的時間間隔重傳數(shù)據(jù)包。
通過數(shù)據(jù)包IP Identification字段的比對，我們可以看到數(shù)據(jù)中心發(fā)到核心交換的數(shù)據(jù)包的IP Identification字段的值會重復(fù)兩次，如下圖所示。
IP Identification字段是鑒別IP報文是否重復(fù)的重要指標(biāo)，發(fā)送方短時間不會構(gòu)造兩個IP Identification字段相同的報文，因此我們可以斷定這些報文是在到達(dá)校園網(wǎng)核心交換這段鏈路上被中間設(shè)備額外復(fù)制了一份。
初步懷疑有以下幾種可能：
- 數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)設(shè)備問題；
- 位于數(shù)據(jù)中心與核心交換中間的流量分流設(shè)備在復(fù)制流量時發(fā)生異常；
- 校園網(wǎng)核心交換鏡像功能異常；
由于數(shù)據(jù)中心原本流量就比較高，數(shù)據(jù)包被重復(fù)發(fā)送導(dǎo)致了鏈路流量過高出現(xiàn)了擁塞。要準(zhǔn)確定位原因需要在數(shù)據(jù)中心匯聚交換機(jī)采集出口鏈路的流量才能夠進(jìn)一步判斷問題點。
2. 數(shù)據(jù)中心出口采集數(shù)據(jù)分析
在數(shù)據(jù)中心出口采集到的數(shù)據(jù)包，其現(xiàn)象與核心交換處的現(xiàn)象正好相反：從核心發(fā)過來的數(shù)據(jù)包會重復(fù)兩次，發(fā)往核心的數(shù)據(jù)包沒有重復(fù)。
由于在數(shù)據(jù)中心并未看到數(shù)據(jù)中心發(fā)出的報文有重復(fù)現(xiàn)象，而在核心交換也未看到核心發(fā)往數(shù)據(jù)中心的報文重復(fù)，我們可以排除數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)設(shè)備和核心交換機(jī)鏡像異常的可能性。
案例分析結(jié)論
通過數(shù)據(jù)比對，我們可以看到單一的數(shù)據(jù)包在經(jīng)過流量分流設(shè)備到達(dá)另外一端后就會出現(xiàn)重復(fù)一次的現(xiàn)象，可以判斷很可能是流量分流設(shè)備導(dǎo)致的問題。
用戶將這一信息告知流量分流設(shè)備廠商后，廠商技術(shù)人員經(jīng)過仔細(xì)核查確認(rèn)配置存在錯誤，進(jìn)行了調(diào)整后網(wǎng)絡(luò)回復(fù)正常。
