垃圾郵件技術(shù)分析
2004/03/12
垃圾郵件的由來(lái)
去年8月，本報與雅虎中國網(wǎng)站針對垃圾郵件問(wèn)題進(jìn)行了一次聯(lián)合調查，結果顯示，幾乎所有擁有電子郵箱的人都受到過(guò)垃圾郵件的困擾。曾幾何時(shí)，相對于“垃圾郵件（spam）這種稱(chēng)謂，很多人認為“未經(jīng)許可的商業(yè)郵件（Unsolicited Commercial Email，UCE）”是一種更準確的說(shuō)法。但隨著(zhù)時(shí)間的推移，垃圾郵件的發(fā)送技術(shù)被黑客攻擊程序和病毒程序（例如最近流行的MyDoom）所利用，為了施行攻擊甚至僅僅為了浪費網(wǎng)絡(luò )帶寬資源而發(fā)送的垃圾郵件大量出現。因此，目前業(yè)界更傾向于使用“未經(jīng)許可的大宗郵件（Unsolicited Bulk Email，UBE）”這種稱(chēng)謂。在下文中，我們統一使用“垃圾郵件”來(lái)代表UBE、UCE，總之，這些是郵件中不請自來(lái)，并且多半是不懷好意的不速之客。
垃圾郵件源于電子郵件營(yíng)銷(xiāo)，后者是一種許可營(yíng)銷(xiāo)，是現代營(yíng)銷(xiāo)的重要手段之一。通常，電子郵件營(yíng)銷(xiāo)是在征得客戶(hù)同意的前提下，向客戶(hù)發(fā)送包含產(chǎn)品信息、促銷(xiāo)信息的電子郵件。這種營(yíng)銷(xiāo)方式的主要成本在于收集和整理包含目標客戶(hù)電子郵件地址的數據庫。電子郵件營(yíng)銷(xiāo)具有針對性強、反饋率高的優(yōu)點(diǎn)，因此得到了廣泛的應用。然而，如果免去了積累數據庫的時(shí)間和費用，電子郵件營(yíng)銷(xiāo)的成本將遠遠低于其他各種營(yíng)銷(xiāo)形式，想省去這部分成本的商家則大有人在。由此，收集、銷(xiāo)售各種電子郵件地址數據庫以及大規模發(fā)送電子郵件都成了新的商機。為了提高發(fā)送效率，群發(fā)工具也日趨普及，而對SMTP協(xié)議的缺陷加以利用，則最終導致了垃圾郵件泛濫成災。
垃圾郵件問(wèn)題遠不只是技術(shù)問(wèn)題，但是垃圾郵件的產(chǎn)生和防范都有其必然的技術(shù)根源，只有了解垃圾郵件產(chǎn)生過(guò)程中的技術(shù)，才能有效地阻止垃圾郵件的傳播。
保護好您的郵件地址
用戶(hù)在收到垃圾郵件的時(shí)候，除了感到煩惱和無(wú)奈之外，往往覺(jué)得奇怪—對方是怎樣得到自己的郵箱地址的？垃圾郵件發(fā)送者獲取郵箱地址的最常見(jiàn)方式是網(wǎng)上遍歷收集，使用俗稱(chēng)“機器人（robot）”的自動(dòng)搜索程序遍歷Web，并收集其中的電子郵件地址。有時(shí)，垃圾郵件發(fā)送者還會(huì )對收集來(lái)的地址數據庫通過(guò)專(zhuān)用工具進(jìn)行驗證，將無(wú)效地址排除。收集來(lái)的郵件地址很可能會(huì )被轉售，而某些不負責任的論壇或網(wǎng)站也會(huì )將注冊用戶(hù)的郵件地址出售。除此之外，有的垃圾郵件發(fā)送工具還會(huì )使用字典窮舉的方法對MTA進(jìn)行大量郵件發(fā)送嘗試，其中，少數成功的嘗試會(huì )導致一些用戶(hù)收到垃圾郵件，而其余的則全部作為無(wú)效退信在一定時(shí)間內存放在MTA的隊列中，耗費大量系統資源。
出于為反垃圾郵件產(chǎn)品評測積累樣本的目的，記者于2003年12月在“計算機世界網(wǎng)”上張貼了一個(gè)誘餌信箱，令人吃驚的是，僅僅在誘餌信箱發(fā)布后不到5分鐘，第一封垃圾郵件就不期而至。自從該誘餌信箱發(fā)布以來(lái)，其垃圾郵件的數量增長(cháng)情況如上圖所示。
普通用戶(hù)為了避免垃圾郵件的困擾，應盡量避免在網(wǎng)頁(yè)上公開(kāi)自己的E-mail地址，在進(jìn)行論壇或網(wǎng)站成員注冊時(shí)也應該盡量謹慎。如果懷疑哪個(gè)網(wǎng)頁(yè)泄漏了自己的E-mail地址，可以通過(guò)google等搜索引擎對自己的地址進(jìn)行檢索，并采取相應的措施。
對此，郵件系統的管理員應該盡量確保自己的前端MTA主機只接收本地存在的目的E-mail地址，限制來(lái)自同一IP或子網(wǎng)的并發(fā)連接數。如今Postfix等多數主流MTA都有這方面的功能。此外，禁用SMTP協(xié)議中有可能泄漏本地用戶(hù)名列表的EXPN命令也是十分必要的。
垃圾郵件防范技術(shù)
垃圾郵件發(fā)送技術(shù)的演化
有了郵件地址和郵件內容，垃圾郵件發(fā)送者要做的就是在盡量短的時(shí)間內將垃圾郵件發(fā)送出去。他們通常使用專(zhuān)用的群發(fā)工具或郵件列表系統來(lái)達到目的。
在早些時(shí)候，Sendmail和IMS等多數MTA默認設置是開(kāi)放轉發(fā)（Open Relay）的。任何用戶(hù)都可以通過(guò)Internet上大量存在的開(kāi)放轉發(fā)MTA主機來(lái)發(fā)送郵件。于是垃圾郵件制造者會(huì )首先查找一定數量的響應速度快的開(kāi)放轉發(fā)的MTA主機，通過(guò)它們來(lái)完成收件人服務(wù)器名字解析及發(fā)送的工作。后來(lái)，為了避免成為垃圾郵件的中轉站，各種主流MTA程序的默認設置都改為默認禁止開(kāi)放轉發(fā)，而且，越來(lái)越多的開(kāi)放轉發(fā)的服務(wù)器都被列入各種黑名單過(guò)濾，Internet上可用的開(kāi)放轉發(fā)的主機正不斷減少。因此，垃圾郵件制造者開(kāi)始廣泛使用本身具有收件服務(wù)器名字解析功能的群發(fā)工具和郵件列表系統，這些發(fā)送者通常使用家庭寬帶進(jìn)行發(fā)送，其IP地址也不斷變化，為追蹤和屏蔽制造了障礙。
垃圾郵件的發(fā)送環(huán)節與對抗垃圾郵件的過(guò)濾環(huán)節具有直接的對應關(guān)系，在這個(gè)環(huán)節上可用的技術(shù)很多，用戶(hù)應當從自身的實(shí)際情況出發(fā)進(jìn)行遴選和應用。
SMTP用戶(hù)認證
一個(gè)最常見(jiàn)但十分有效的方法是在MTA上對來(lái)自本地網(wǎng)絡(luò )以外的Internet的發(fā)信用戶(hù)進(jìn)行SMTP認證，僅允許通過(guò)認證的用戶(hù)進(jìn)行遠程轉發(fā)。這既能夠有效避免MTA主機為垃圾郵件發(fā)送者所利用，又為出差在外或在家工作的員工提供了便利。如果不采取SMTP認證，在不犧牲安全的前提下，設立面向Internet的Web郵件網(wǎng)關(guān)也是可行的。
此外，如果SMTP服務(wù)（MTA）和POP3服務(wù)集成在同一主機上，在用戶(hù)試圖發(fā)信之前對其進(jìn)行POP3訪(fǎng)問(wèn)驗證（POP before SMTP）就是一種更加安全的方法，但在應用的時(shí)候要考慮到當前支持這種認證方式的郵件客戶(hù)端程序還不多。
逆向名字解析
無(wú)論哪一種認證，其目的是避免MTA被垃圾郵件發(fā)送者所利用，對于發(fā)送到本地的垃圾郵件仍然無(wú)可奈何。要解決這個(gè)問(wèn)題，最簡(jiǎn)單有效的方法是對發(fā)送者的IP地址進(jìn)行逆向名字解析。通過(guò)DNS查詢(xún)來(lái)判斷發(fā)送者的IP與其聲稱(chēng)的名字是否一致，例如其聲稱(chēng)的名字為mx.yahoo.com，而其連接地址為20.200.200.200，與其DNS記錄不符，則予以拒收。這種方法可以有效過(guò)濾掉來(lái)自動(dòng)態(tài)IP的垃圾郵件，對于某些使用動(dòng)態(tài)域名的發(fā)送者，也可以根據實(shí)際情況進(jìn)行屏蔽。
但這種方法對于借助Open Relay的垃圾郵件依然無(wú)效。對此，更進(jìn)一步的技術(shù)是假設合法的用戶(hù)只使用本域具有合法Internet名稱(chēng)的MTA主機發(fā)送E-Mail。例如，若發(fā)件人的郵件地址為somebody@google.com，則其使用的MTA的Internet名字應具有g(shù)oogle.com的后綴。這種限制并不符合SMTP協(xié)議，但在多數情況下是切實(shí)有效的。
需要指出的是，逆向名字解析需要進(jìn)行大量的DNS查詢(xún)，從而耗用大量的系統資源和網(wǎng)絡(luò )資源，為了提高性能和避免出現由于DNS服務(wù)中止或查詢(xún)超時(shí)，該方法并未被普遍采用。
實(shí)時(shí)黑名單過(guò)濾
以上的防范措施對使用自身合法域名的垃圾郵件仍然無(wú)效。對此，最有效的方法可能就是使用黑名單服務(wù)了。黑名單服務(wù)是基于用戶(hù)投訴和采樣積累而建立的、由域名或IP組成的數據庫，最著(zhù)名的是RBL、DCC和Razor等，這些數據庫保存了頻繁發(fā)送垃圾郵件的主機名字或IP地址，供MTA進(jìn)行實(shí)時(shí)查詢(xún)以決定是否拒收相應的郵件。遺憾的是，目前各種黑名單數據庫都具有很強的區域歧視性，例如，北美的RBL和DCC包含了我國大量的主機名字和IP地址，其中有些是早期的Open Relay造成的，有些則是由于誤報造成的。但這些遲遲得不到糾正，在一定程度上阻礙了我國與北美地區的郵件聯(lián)系，也妨礙了我國的用戶(hù)使用這些黑名單服務(wù)。在我國，黑名單服務(wù)仍處在起步階段，可用服務(wù)器較少，其有效性也沒(méi)有得到充分驗證。
內容過(guò)濾
即使使用了前面諸多環(huán)節中的技術(shù)，仍然會(huì )有相當一部分垃圾郵件漏網(wǎng)。對此情況，目前最有效的方法是基于郵件標題或正文的內容過(guò)濾。其中，比較簡(jiǎn)單的方法是結合內容掃描引擎，根據垃圾郵件的常用標題語(yǔ)，垃圾郵件受益者的姓名、電話(huà)號碼、Web地址等信息進(jìn)行過(guò)濾。更加復雜但同時(shí)更具智能性的方法是基于貝葉斯概率理論的統計方法所進(jìn)行的內容過(guò)濾，該算法最早由Paul Graham提出（http://www.paulgraham.com/spam.html），并使用他自己設計的Arc語(yǔ)言實(shí)現。這種方法的理論基礎是通過(guò)對大量垃圾郵件中常見(jiàn)關(guān)鍵詞進(jìn)行分析后得出其分布的統計模型，并由此推算目標郵件是垃圾郵件的可能性。這種方法具有一定的自適應、自學(xué)習能力，目前已經(jīng)得到了廣泛的應用。最有名的垃圾郵件內容過(guò)濾是Spamassassin，它使用Perl語(yǔ)言實(shí)現，集成了以上兩種過(guò)濾方法，可以與當前各種主流的MTA集成使用。令人遺憾的是，從記者的使用情況來(lái)看，Spamassassin的中文關(guān)鍵詞學(xué)習能力非常差，很難達到在我國實(shí)際應用的要求。
需要指出的是，內容過(guò)濾是以上所有各種方法中耗費計算資源最多的，在郵件流量較大的場(chǎng)合，最好配合高性能服務(wù)器使用。
反垃圾郵件系統的建議配置
正如前面一再提到的，進(jìn)行了各種設置之后，雖然絕大多數垃圾郵件在劫難逃，但也給MTA系統帶來(lái)了沉重的負擔。由于以往多數MTA與用戶(hù)的POP3/IMAP 4服務(wù)器甚至群件系統/協(xié)同工作平臺安裝在同一臺機器上，在這種情況下，進(jìn)行反垃圾郵件的設置勢必會(huì )影響系統的整體性能，并有可能進(jìn)而影響用戶(hù)業(yè)務(wù)的實(shí)時(shí)性。因此，設置專(zhuān)門(mén)用來(lái)過(guò)濾垃圾郵件的前端MTA正在逐漸成為一種流行的選擇。目前市場(chǎng)上已經(jīng)出現了一些具有垃圾郵件過(guò)濾功能的產(chǎn)品，為了幫助用戶(hù)更有效地采購和實(shí)施這類(lèi)產(chǎn)品，《計算機世界》網(wǎng)絡(luò )產(chǎn)品評測實(shí)驗室將在近期組織相關(guān)的橫向評測。
反垃圾郵件技術(shù)前景展望
電子郵件——僅存的端到端應用
相對于Internet形成初期的完全對等的端到端網(wǎng)絡(luò )環(huán)境，如今的Internet已經(jīng)有了很大的不同，由于防火墻和代理服務(wù)器的限制，絕大多數應用都已經(jīng)不再進(jìn)行端到端環(huán)境的假設。但由于SMTP協(xié)議的靈活性、普遍性和特殊性，電子郵件應用仍然保持了端到端的特點(diǎn)。在用戶(hù)看來(lái)，郵件收發(fā)雙方是對等的，是沒(méi)有中間限制的。電子郵件如今成為病毒和黑客的突破口是歷史的必然。
SMTP的先天缺陷
然而，SMTP本身不具有反垃圾郵件的特點(diǎn)，它的名字本身（簡(jiǎn)單郵件傳輸協(xié)議）也說(shuō)明了這一點(diǎn)。在2001年4月發(fā)布的最新版本SMTP協(xié)議文檔RFC2821（http://www.faqs.org/rfcs/rfc2821.html）中，在第七節“安全性的考慮”部分明確指出“SMTP（從先前的版本）繼承的特性決定了它在有些場(chǎng)合是不安全的，它不能限制郵件發(fā)送者的某些欺騙行為……”，它進(jìn)而指出“郵件的安全應該僅僅依賴(lài)于基于郵件正文的端到端方案，如通過(guò)PGP或S/MIME對郵件進(jìn)行數字簽名和加密”。我們必須承認，這種說(shuō)法是完全符合Internet傳統的，即在傳輸層無(wú)法解決的問(wèn)題，交給應用層來(lái)解決。
然而，IETF并沒(méi)有表現出要盡快修改SMTP的意向，關(guān)于垃圾郵件控制的IETF官方RFC文本是RFC2505——“對于SMTP MTA的反垃圾郵件推薦設置”，僅僅進(jìn)行了一些簡(jiǎn)單的外圍技術(shù)的說(shuō)明。只是最近由IRTF（互聯(lián)網(wǎng)研究工程組）成立了一個(gè)“防垃圾郵件研究小組”，開(kāi)始對相關(guān)的技術(shù)進(jìn)行研究。
可能的解決方法
與之形成鮮明對照的是，業(yè)界提出了各種解決方案。其中，試圖替代SMTP的協(xié)議就有很多，例如AMTP（http://amtp.bw.org/）等提案都在設計上就考慮到了安全與垃圾郵件等問(wèn)題。然而我們必須認識到，完全改變SMTP業(yè)已形成的龐大傳輸網(wǎng)絡(luò )，試圖另起爐灶是脫離實(shí)際的。最有效、最現實(shí)的解決辦法必須與現有的SMTP協(xié)議兼容，并具備在SMTP網(wǎng)絡(luò )中逐步推廣，并在推廣過(guò)程中對用戶(hù)透明的能力。
另有些方法是從提高垃圾郵件發(fā)送成本的角度來(lái)考慮，如收取費用或提高M(jìn)TA的響應時(shí)間，但這些方法不可避免地要影響到正常的郵件通信。記者認為，現有的解決方法中，最有可能實(shí)施的是與DNS系統結合的解決方案，這是由電子郵件與DNS密不可分的先天聯(lián)系所決定的，其中有些方法是通過(guò)在DNS的目錄系統中加入與反垃圾郵件相關(guān)的條目來(lái)對郵件路由進(jìn)行限制。另外，Bill Gates最近在RSA大會(huì )上所提的方案則是一方面強制對入站郵件進(jìn)行DNS驗證，另一方面是對MTA改造，加入類(lèi)似“來(lái)電顯示（Caller ID）”的限制機制。
值得欣慰的是，垃圾郵件問(wèn)題已經(jīng)得到了整個(gè)社會(huì )的關(guān)注。我們相信，隨著(zhù)對抗垃圾郵件的技術(shù)和非技術(shù)措施不斷出臺，并在業(yè)界形成合力，垃圾郵件的問(wèn)題終將得到有效的遏制。（反垃圾郵件解決方案可參見(jiàn)同期本報“應用與方案”版C8～C11。）
SMTP協(xié)議與E-mail的發(fā)送流程
SMTP即簡(jiǎn)單郵件傳輸協(xié)議（Simple Mail Transfer Protocol）是一種TCP協(xié)議，其端口號為25，它用于電子郵件的傳送。SMTP在收到用戶(hù)發(fā)來(lái)的郵件后，根據本地定義的規則和DNS名字解析的結果（需要將收件人E-mail地址中的域名解析為IP地址，通常得到其域名的MX紀錄）對郵件進(jìn)行轉發(fā)。在到達POP3或IMAP郵局之前，可能中間會(huì )經(jīng)過(guò)一個(gè)或多個(gè)SMTP服務(wù)器轉發(fā)，由于SMTP服務(wù)器負責郵件的路由與轉發(fā)，也被稱(chēng)作郵件傳輸代理（MTA）。
MTA通常都和特定的域名綁定，它以此來(lái)區分入站郵件是本域郵件還是遠程郵件。如果是本域郵件，則轉發(fā)給本域的POP3或IMAP4郵局供用戶(hù)收取；如果是遠程郵件，則需要經(jīng)過(guò)收件人所屬域的名字解析獲得其對應的MTA IP地址，然后進(jìn)行遠程轉發(fā)。如果MTA的默認設置是不加限制地允許來(lái)自任意IP地址的用戶(hù)進(jìn)行遠程轉發(fā)，則這個(gè)MTA是開(kāi)放轉發(fā)（Open Relay）的。
E-mail的工作流程原理如下圖所示。
計算機世界網(wǎng)(www.ccw.com.cn)
相關(guān)鏈接:
亚洲精品网站在线观看不卡无广告,国产a不卡片精品免费观看,欧美亚洲一区二区三区在线,国产一区二区三区日韩
长宁区|
福清市|
和平区|
大田县|
封丘县|
广元市|
彭州市|
临澧县|
辽阳县|
江口县|
德令哈市|
独山县|
饶河县|
屏南县|
贵溪市|
普陀区|
磐安县|
太湖县|
淄博市|
和龙市|
剑川县|
会东县|
新余市|
宁城县|
奎屯市|
万宁市|
康定县|
胶南市|
广河县|
利川市|
扬中市|
石门县|
宾川县|
广灵县|
海口市|
夹江县|
鲁甸县|
华亭县|
漳州市|
台山市|
崇左市|
http://444
http://444
http://444
http://444
http://444
http://444