從統計學(xué)角度看質(zhì)檢作業(yè)的幾大問(wèn)題 （上）
許乃威 2007/10/16
質(zhì)檢一直是我認為最沒(méi)用、卻是最重要的一個(gè)管理手段。
我幾次上公開(kāi)課，都會(huì )點(diǎn)名問(wèn)：請問(wèn)在座有沒(méi)有做質(zhì)檢的？然后每次都有不少學(xué)員舉手，我就會(huì )說(shuō)：你們的崗位，是最沒(méi)用的，完全沒(méi)有數學(xué)根據的，不如不要做算了，然后這些舉手的學(xué)員就會(huì )很生氣，問(wèn)我說(shuō)：都交了這么多學(xué)費來(lái)，老師在胡說(shuō)八道什么啊？
我當然是在講反話(huà)，但以一個(gè)學(xué)習統計學(xué)多年的老家伙來(lái)說(shuō)，現行質(zhì)檢作業(yè)的方式，真的跟數學(xué)沒(méi)有關(guān)系。
我常常開(kāi)玩笑說(shuō)（雖然有時(shí)是講的很認真嚴肅的），質(zhì)檢就是找一群人，躲在一個(gè)屋子里，偷偷摸摸聽(tīng)別人講電話(huà)，然后光明正大的說(shuō)：你這里講錯了，那里講不好了。
這種方式，在管理學(xué)上稱(chēng)為恐嚇?lè )ǎ簿褪亲屪瘑T知道，你盡量接電話(huà)，接越多越好，但只要你服務(wù)不到位，得罪了我們客戶(hù)，我們有人偷聽(tīng)你電話(huà)的，隨時(shí)準備扣你工資！
恐嚇?lè )ㄊ且环N心理學(xué)的管理方式，在數學(xué)上是不成立的。
大家有注意到我講的這句話(huà)嗎？質(zhì)檢打分數來(lái)評斷座席員好壞的這種方式，在數學(xué)上，是不成立的！
大家以為自己質(zhì)檢的作業(yè)，是符合科學(xué)的，是公平的，但統計學(xué)很輕易可以證明，很多公司的質(zhì)檢作業(yè)，基本上跟擲骰子是沒(méi)有兩樣的。
講到這里，我應該是引起眾怒了，這么多人花了這么多力氣的心血，我盡然說(shuō)這跟擲骰子沒(méi)有兩樣，浪費了大家的心血不說(shuō)，更嚴重的問(wèn)題是，質(zhì)檢分數高度跟工資掛勾，如果這些質(zhì)檢分數是不科學(xué)的，那啟不是說(shuō)決定座席員工資的方法，也是用骰子擲的？
我曾經(jīng)在前幾期文章講過(guò)一個(gè)例子，一個(gè)呼叫中心在全國各地有2千多個(gè)座席員，深圳區一個(gè)很認真的小姑娘被客戶(hù)一直辱罵，最后她以為客戶(hù)掛線(xiàn)，電話(huà)也不再錄音了，就講了句[變態(tài)]，一天3百通電話(huà)，一個(gè)月6、7千通電話(huà)，總部質(zhì)檢就只有抽4通，偏偏就抽到這一通，當月分數是全國2千多個(gè)座席代表的倒數前十名，把深圳區分數整個(gè)拖垮，對自己期許過(guò)高的她還搞的尋死尋活的。
同樣的戲劇情節在同一個(gè)月，發(fā)生在同一個(gè)呼叫中心，也就在深圳區的另外一個(gè)座席代表，有嚴重的服務(wù)態(tài)度問(wèn)題，會(huì )收客戶(hù)線(xiàn)，就是要客戶(hù)掛機，深圳主管都警告這座席員說(shuō)要炒掉她了，結果同月份總部質(zhì)檢，也是抽4通，這座席員知道總部質(zhì)檢的漏洞，總部沒(méi)有抽到她任何一通要客戶(hù)掛機的電話(huà)，結果被打深圳區第三名，這姑娘跟主管說(shuō)，現在不是要炒掉我的問(wèn)題，而是要加多少工資的問(wèn)題，因為我是深圳之光！
每個(gè)月有幾千通的電話(huà)，只有抽幾通電話(huà)，可以看到事情的真相嗎？
從統計學(xué)的角度來(lái)看，質(zhì)檢作業(yè)有6大問(wèn)題完全不符合統計學(xué)的要求，這些問(wèn)題的任何一點(diǎn)都足以讓質(zhì)檢分數完全不具有數學(xué)意義，只是對座席員進(jìn)行恐嚇?lè )ü芾矶选?br />
抽樣數不足
這是筆者說(shuō)的質(zhì)檢作業(yè)的第一個(gè)大問(wèn)題，當你抽樣數不足，也就是樣本不夠，卻要說(shuō)這個(gè)座席員[是屬于這種特質(zhì)]時(shí)，這跟擲骰子的情況只有稍微好一點(diǎn)而已。
到底要多少樣本數才對事情的真相有足夠的信心呢？
如果是平均值的樣本數計算，所需最少樣本數＝概率度2 x 標準差2 / 極限誤差2
大家看到這公式肯定是昏倒的，換成一個(gè)容易懂的方式說(shuō)。
假設一個(gè)座席員過(guò)去曾經(jīng)被抽檢過(guò)10通電話(huà)，分數分別是100、95、94、90、85、80、80、75、75、70，這10通電話(huà)的平均值是84.4分，標準差是10分（如果不懂標準差的定義，請參考筆者上一期的文章）。
如果我們問(wèn)說(shuō)，在95％的信心水平下，這座席員質(zhì)檢分數的平均值大約會(huì )落在那個(gè)范圍？
這是一個(gè)很重要的問(wèn)題，因為你給這座席員打出了84.4的平均分，但這分數卻是一個(gè)抽樣的結果，只要是抽樣，一定有誤差，你必須要估計誤差，也就是在古代，如果你是大宋提刑官，打算要殺人，你必須估計你殺錯人的機會(huì )有多大，而這公式如下：
平均誤差＝標準差 / √抽樣數
極限誤差＝概率度 x平均誤差
大家如果沒(méi)有看明白這公式，完全沒(méi)有關(guān)系，只要知道結論就好，也就是利用上面這兩個(gè)公式，平均誤差是 10 / √10 ，也就是3.16
95％的信心水平，概率度是1.96，極限誤差也就是6.2
我們得到了一個(gè)重要結論：
換句話(huà)說(shuō)，如果你說(shuō)，你有95％的信心判斷這座席員的分數，那這分數應該是落在78到90之間（84.4 ─ 6.2和 84.4 ＋ 6.2）。
大家看到這分數范圍有多寬了嗎？
一個(gè)座席員被打分數的標準差在10分左右，是很常見(jiàn)的，只要最高分跟最低分的差距高于20分，就有可能標準差會(huì )大于10分，如果你的質(zhì)檢員打分的錄音抽樣數目只有10通，她打出了84分，那這座席員真正的分數，很有可能在78到90分之間！
換句話(huà)說(shuō)，你說(shuō)這座席員的84分，高于另外一個(gè)座席員的80分，你要獎勵這座席員，在統計上來(lái)說(shuō)，這很可能是抽樣誤差造成的，根本不是事實(shí)！
上面這兩個(gè)公式轉換一下，就會(huì )得到最少樣本數的公式，我們可以計算一下，如果這個(gè)座席員的分數標準差還是10分，如果想要在95％的信心水平下，有把握的講出上下分數不多于3分的話(huà)（也就是81分和87分之間，也就是84.4
─ 3和 84.4 ＋ 3），那應該要抽多少錄音檔呢？
所需最少樣本數＝概率度2 x 標準差2 / 極限誤差2，把數據帶入這個(gè)公式，所需最少樣本數＝1.962 x 102 / 32，也就是43個(gè)。
大家說(shuō)這么少啊，一個(gè)座席員一個(gè)月只要抽43通，等于一個(gè)禮拜抽10通，這應該不是太難的事情。但大家要注意的是，最少樣本數是跟標準差的平方成正比的，我們剛剛只是用10分來(lái)算而已，但再好的座席員都很難達到標準差為10分，為何？
因為這里講的標準差是指這個(gè)座席員的標準差，而不是這個(gè)月抽聽(tīng)錄音檔評分出來(lái)的標準差，只是因為我們不知道這座席員真正的標準差，只好權宜行事，用這次抽樣錄音分數的標準差來(lái)計算。
真正的作法，應該把你以前曾經(jīng)替這座席員打過(guò)的分數，所有給這座席員打分的歷史都拿出來(lái)，計算所有打分紀錄的標準差，也就是不能只看這個(gè)月的。
用這算法，一個(gè)座席員的標準差就很容易擴大了。如果擴大到了15分，帶入公式，所需樣本數就變成了96通，也就是一禮拜要抽24通。
萬(wàn)一這座席員的標準差是20分，就需要抽取 171通，一禮拜要抽42通，這基本上是不可能的！
大家應該很難做到高樣本數的要求，因為要做到高樣本數，成本是受不了的，那應該要怎么辦呢？
其實(shí)統計學(xué)要求高樣本數，大家剛剛應該注意到了，是對于座席員標準差大的，也就是座席員質(zhì)檢分數忽高忽低、上上下下的，如果標準差小，只需要少數的抽樣就能看到事情的真相。
這個(gè)統計學(xué)上的特性，讓我們對于質(zhì)檢作業(yè)有了一個(gè)新的作法，就是：不同標準差的座席員應該要有不同的抽檢率。
呼叫中心把座席員按照質(zhì)檢分數的標準差來(lái)分類(lèi)，甚至更簡(jiǎn)單，按照座席員質(zhì)檢分數的好壞來(lái)分類(lèi)（通常分數高，標準差也小），不同分類(lèi)的抽檢率不同，這樣可以讓質(zhì)檢員的力氣，花在真正需要花的地方，也就是分數高的，不需要抽聽(tīng)太多電話(huà)，分數低的，需要花更多力氣來(lái)確認到底這座席員表現的是好還是壞，這種分類(lèi)抽檢的方式，是完全符合統計學(xué)的。
很多國外的專(zhuān)家們最近一直大力呼吁，與其測量平均分數，還不如測量座席員的一次解決率和致命錯誤率，因為這兩個(gè)指針需要的樣本數比較少，這兩個(gè)指標才具有數學(xué)上的意義。
具有數學(xué)上的意義，這是很重要的，有數學(xué)上的意義，作為主管的你，罵起人來(lái)才會(huì )比較大聲，不是嗎？
不然你看到一個(gè)座席員的質(zhì)檢分是79分，你拿來(lái)跟另外一位的83分比，你想起來(lái)許乃威講過(guò)的，這兩個(gè)分數在數學(xué)上的意義，可能跟拿骰子隨便亂擲結果差不多，你恐怕就罵不下去了。
困惑是阻止有效管理的重大障礙，一個(gè)在數學(xué)上不成立的績(jì)效測量，是造成困惑最直接的原因。
打分數主要分成兩種方式，一種是平均數打分，也就是有一個(gè)范圍要你打分，例如從0到100分（正向），或是從0扣分扣到40分（負向）。
另外一種打分數是叫做合格率打分，也就是你只判斷座席員這通電話(huà)的服務(wù)是否合格，而合格與否只有兩種可能，過(guò)關(guān)或不過(guò)關(guān)。
是否統計學(xué)就像是這些國外專(zhuān)家講的，少量的抽樣就足以判斷座席員的合格率（例如100通電話(huà)其中有多少通合格）？
很不幸的，筆者也一度以為是，結果發(fā)現完全不是。
合格率的最少樣本數＝（全部錄音檔數量x概率度2 x 合格率x（1-合格率） ）/ （全部錄音檔數量x極限誤差2 +概率度2 x 合格率x（1-合格率）
）
套用這個(gè)公式，假設全部錄音檔數量是2千通，如果合格率是95％，你希望95％的信心水平下，合格率出現在92％到98％的范圍（上下3％），你至少要抽取184通電話(huà)的樣本才能確認！
如果合格率降到90％，你就需要322通電話(huà)才能確認。
座席員的合格率很容易低于90％，如果你有測量致命錯誤率或一次解決率，你就會(huì )發(fā)覺(jué)這數據太容易低過(guò)90％，一旦低過(guò)90％，你不禁就要問(wèn)自己：
我有足夠的樣本數來(lái)支持我的結論嗎？
我們從上面可以看到，如果你測量的是平均值，也就是你測量0到100分這種分數的，最少樣本數是跟座席員的標準差有很大關(guān)連，座席員標準差越高你就需要越多的樣本數，如果你是測量合格率的話(huà)，最少樣本數是跟合格率高度相關(guān)的，也就是合格率越低，你需要越多的樣本數。
其實(shí)這跟直覺(jué)是符合的，一個(gè)標準差越大的座席員，通常合格率就越低。
談到平均數和合格率的公式，大家應該還有注意到一個(gè)重點(diǎn)：就是極限誤差的選擇影響很大，如果你可以接受上下5分（平均分數）或上下5％（合格率）的誤差，那需要的最小樣本數就少很多了，拿上面的例子來(lái)說(shuō)，這個(gè)座席員的分數標準差是15分，平均分數是85分，在95％的信心水平下，分數介于上下3分（82分和88分之間），需要抽96通錄音文件，但如果容許分數介于上下5分（80分和90分之間），那就只要抽35通就可以確認了，這是一個(gè)巨大的差別。
對合格率來(lái)說(shuō)，全部錄音檔數量是2千通，如果合格率是90％，95％的信心水平下，合格率出現在87％到93％的范圍（上下3％），至少要抽取322通電話(huà)，但如果放寬到85％到95％的范圍（上下5％），這時(shí)就只要129通電話(huà)就能確認。
換句話(huà)說(shuō)，到底要抽取多少通錄音檔才在數學(xué)上有意義，還是要看你希望要多精確，也就是你的績(jì)效評核系統要求有多么的精確。
如果一個(gè)座席員的分數是85分，另外一位是82分，兩人的工資因此就會(huì )有差距，那你就必須要采用3分以上的誤差來(lái)估算才行，如果你采用的是5分以上的估算，那這兩位座席員的差距是3分，完全在這5分的誤差范圍之內，他們的差距，太有可能是抽樣導致的誤差，而不是他們兩位真實(shí)的情況了。
筆者對不同的標準差，不同的合格率，還有不同的極限誤差，做了兩張表，可以讓讀者直接查表，不必套用上面這么復雜的公式，可以直接找出自己到底需要多少樣本數，有興趣的讀者歡迎寫(xiě)郵件來(lái)索取。
如果你的樣本數無(wú)論如何沒(méi)有辦法這么多，那是不是說(shuō)質(zhì)檢分數的測量就沒(méi)有意義了？
這到也不是，在統計學(xué)上有另外一個(gè)現象對我們有幫助，就是如果這個(gè)月一個(gè)座席員分數是79，另外一位是83，你千萬(wàn)不要馬上下結論說(shuō)，這個(gè)79分的座席員比較差，因為很可能是抽樣誤差導致的，但如果，大家聽(tīng)到[如果]這兩個(gè)字了，這個(gè)座席員連續三個(gè)月都比另外一個(gè)座席員的分數低4分以上，這在統計學(xué)上就有了相當的信心說(shuō)，79那個(gè)座席員的質(zhì)檢分數是低于83的。
所以有不少的呼叫中心對于這種0到100分的質(zhì)檢分數（負向打分也是一樣），不是每個(gè)月都馬上進(jìn)行考核罰錢(qián)的，而是每一季，也就是會(huì )看三個(gè)月的變化情況。
請注意，筆者講的是[變化情況]，不是平均值，如果你把座席員三個(gè)月的質(zhì)檢分數拿來(lái)做平均，然后用這個(gè)平均值進(jìn)行比較，仍舊在數學(xué)上是不成立的！
抽樣偏見(jiàn)
我前面談到的第一個(gè)問(wèn)題是抽樣數不足，造成質(zhì)檢分數在數學(xué)上是不成立的，第二個(gè)問(wèn)題是統計上常說(shuō)的[抽樣偏見(jiàn)]。
上面我講到那個(gè)有2千多個(gè)座席員的呼叫中心，有一個(gè)小姑娘抓到質(zhì)檢的漏洞，讓她收客戶(hù)線(xiàn)的電話(huà)，一通都沒(méi)有被抓到，她利用的方法就是抽樣偏見(jiàn)。
質(zhì)檢人員一般進(jìn)行錄音檔抽樣時(shí)，不會(huì )抽一分鐘以下的電話(huà)，因為一分鐘以下的電話(huà)，通常都是一般咨詢(xún)電話(huà)，沒(méi)有什么內容可以評分。
這個(gè)小姑娘就是抓住這個(gè)特性，只要她打算要收客戶(hù)線(xiàn)，她就會(huì )在一接到電話(huà)就做，例如她會(huì )跟客戶(hù)說(shuō)，對不起，現在系統當機，無(wú)法服務(wù)，或是說(shuō)，你的聲音太小，請你掛機重打。
這通電話(huà)的通話(huà)時(shí)長(cháng)肯定低于一分鐘，自然沒(méi)有質(zhì)檢人員會(huì )抓到她。
質(zhì)檢人員利用抽樣的偏見(jiàn)，也能做很多文章，我在公開(kāi)課上，很喜歡跟學(xué)員討論這個(gè)話(huà)題：
質(zhì)檢員要怎樣利用抽樣偏見(jiàn)來(lái)整她不喜歡的座席員？
也就是說(shuō)，只要抽錄音檔的時(shí)候做點(diǎn)手腳，分數還沒(méi)有打，這個(gè)座席員的分數很自然就會(huì )比較低。
大家都知道答案嗎？
這是質(zhì)檢員都知道的手法，就是抽比較長(cháng)的電話(huà)，或是抽忙時(shí)或忙日的電話(huà)，或是抽抱怨的電話(huà)，這種電話(huà)在統計上，分數都傾向比較低。
要克服這問(wèn)題，就必須要求質(zhì)檢員抽樣時(shí)，要[均衡]。
怎么測量『均衡』？利用錄音抽樣均衡度測量表，也稱(chēng)為MITLA檢查法，進(jìn)行均衡性的檢查，確保抽樣的均衡性。
MITLA這五個(gè)英文字分別代表：
- Measurements ： 哪些項目需要考慮均衡度
- Index ： 均衡度測量表尺設計
- Time balance ： 錄音時(shí)間抽樣均衡 （忙時(shí)、閑時(shí)、忙日、閑日）
- Length balance ： 錄音檔長(cháng)度抽樣均衡 （長(cháng)的錄音、短的錄音）
- Application-Type balance ： 業(yè)務(wù)內容抽樣均衡（咨詢(xún)、投訴等不同業(yè)務(wù)）
簡(jiǎn)單講，質(zhì)檢員應該要把自己對某個(gè)座席員評分的錄音檔，按照上面的T、L、A，就是長(cháng)度、錄音時(shí)間點(diǎn)、業(yè)務(wù)內容，畫(huà)個(gè)頻次表（筆者在上一期內容有介紹頻次表的畫(huà)法），跟其它座席員進(jìn)行比較，看有沒(méi)有重大差異，如果有，對這座席員的抽樣，就是[不均衡]。
每個(gè)座席員所有被抽檢錄音檔的MITLA檢查表，更是質(zhì)檢主管應該要親自檢查的。
畢竟抽樣上只要有偏見(jiàn)，不管是質(zhì)檢員有意，或是系統抽出來(lái)就自然出現了偏見(jiàn)，都會(huì )對座席員不利，造成嚴重的偏差。
質(zhì)檢員打分標準不一
我常常會(huì )講這個(gè)故事，筆者念大學(xué)的時(shí)候，跑去修一門(mén)課，叫做[嬰兒與母親]。當時(shí)筆者只有19歲，一個(gè)小男生，跑去學(xué)怎么給寶寶洗澡，不是我在當時(shí)特別喜歡寶寶，而是那門(mén)課的老師，是一個(gè)慈祥的媽媽?zhuān)乙惶谜n都沒(méi)去上，還是拿到80分，因為她給的最低分就是80分。
我當時(shí)念物理系，我們必須要數學(xué)系去修微積分，數學(xué)系里面都是被我們稱(chēng)為[大刀]的老師，我們就碰上了楊大刀，第一天上課，他就說(shuō)：同學(xué)們，我知道大家都會(huì )很認真，但30％的同學(xué)還是會(huì )被我當掉。
我那門(mén)課就剛好拿了60分。
你會(huì )寧愿遇到慈祥的媽媽?zhuān)�是楊大刀？
如果質(zhì)檢員的評分標準不一樣，一個(gè)松，一個(gè)緊，兩個(gè)質(zhì)檢員的分數是沒(méi)有辦法比較的。
從統計學(xué)的角度，如何檢查兩個(gè)質(zhì)檢員的評分行為是否一致？
利用筆者之前講過(guò)的頻次表，就可以很輕易的畫(huà)出質(zhì)檢員的落點(diǎn)分布圖，比較兩個(gè)質(zhì)檢員的落點(diǎn)分布圖，就很容易看出來(lái)兩個(gè)人的行為差異。
上圖是兩個(gè)質(zhì)檢員在今年9月份打的質(zhì)檢分數，每個(gè)質(zhì)檢員分別對80人打了分數，然后把這些分數做成頻次表（如果不知道怎么做頻次表，可以看筆者上一期的文章有詳細介紹）。
底下是這兩位質(zhì)檢員打的分數統計：
把這兩列人數放在一起畫(huà)圖，就看到上面的頻次表。
可以看到第一個(gè)質(zhì)檢員（藍色）整條線(xiàn)比較平滑，分數越高打的人越多，而第二個(gè)質(zhì)檢員（紅色）顯然行為跟第一位質(zhì)檢員很不一致，第二位在95分評出的人比90分評出的人少了不少，80分評出的人比75分評出的人又少了不少，也就是第二位質(zhì)檢員跟第一位相比，跑出來(lái)了兩個(gè)低谷。
如果你把不同質(zhì)檢員的落點(diǎn)分布圖畫(huà)出來(lái)，發(fā)現類(lèi)似上面這張頻次表出現了不一致的行為，只有兩種解釋?zhuān)?br />
不然就是這兩組被測量的座席員的確有本質(zhì)上很大的差異（一般可能性較低），再不然就是質(zhì)檢員測量在用的尺歪了。
不管是哪一種可能，對管理者都是很有價(jià)值的管理線(xiàn)索。
不僅要比較質(zhì)檢員和質(zhì)檢員之間的落點(diǎn)分布圖，藉此來(lái)看出質(zhì)檢員打分的公平性與否，同時(shí)也要看同一個(gè)質(zhì)檢員每個(gè)月不同的落點(diǎn)分布圖，藉此來(lái)檢查質(zhì)檢員評分行為是否隨著(zhù)時(shí)間而改變了。
質(zhì)檢員打分出現不作為的情況
什么叫做不作為？
這在問(wèn)卷統計上，稱(chēng)為[不回答率[，也就是你發(fā)出了問(wèn)卷，結果客戶(hù)有的問(wèn)題回答，有的問(wèn)題卻沒(méi)有回答。
如果客戶(hù)整個(gè)問(wèn)卷都不回答，事情還好辦些，最多就是不計算這個(gè)問(wèn)卷，當它不存在，但有的問(wèn)題回答了，有的不回答，這對統計結果會(huì )造成很?chē)乐氐钠睢?br />
質(zhì)檢員也會(huì )出現這種[不回答率]，而且很頻繁，也就是說(shuō)，質(zhì)檢員對于某些錄音檔會(huì )有聽(tīng)沒(méi)有到，聽(tīng)到了，打分了，但都是打滿(mǎn)分，或是一分都沒(méi)有扣。
質(zhì)檢員為了避免引起座席員反彈，很容易會(huì )產(chǎn)生這種[不作為]的行為，因為只要她扣了座席員的分數，這通錄音文件很可能就需要經(jīng)過(guò)復核，座席員會(huì )抗議，這通錄音文件的分數變成了顯著(zhù)的目標。
要避免這通錄音文件變成顯著(zhù)的目標，最簡(jiǎn)單的方法就是，讓它滿(mǎn)分過(guò)關(guān)，這樣大家都開(kāi)心。
但學(xué)過(guò)問(wèn)卷調查的人都知道，這種[不回答率]有時(shí)比抽樣誤差造成結果的偏差，可能還要嚴重。
我們要怎么用統計學(xué)的辦法偵測出來(lái)質(zhì)檢員是不是有真的在做她的工作，每通錄音都有真的在打分呢？
關(guān)于作者:許乃威 呼叫中心資深顧問(wèn) email: will_hsu@126.com
CTI論壇編輯
相關(guān)鏈接:
亚洲精品网站在线观看不卡无广告,国产a不卡片精品免费观看,欧美亚洲一区二区三区在线,国产一区二区三区日韩
林甸县|
县级市|
麻江县|
安顺市|
霍邱县|
平利县|
报价|
科尔|
竹山县|
建始县|
泰兴市|
上杭县|
邯郸市|
大关县|
关岭|
台安县|
会东县|
聂拉木县|
庄河市|
临汾市|
阿拉善右旗|
黄骅市|
温州市|
余姚市|
满洲里市|
额尔古纳市|
漳平市|
彰武县|
平罗县|
苍溪县|
沙洋县|
辽阳县|
马边|
翁源县|
宝清县|
弥渡县|
隆化县|
寿光市|
霍城县|
铜鼓县|
丹寨县|
http://444
http://444
http://444
http://444
http://444
http://444