TurboGate反垃圾郵件引擎核心技術(shù)

TurboGate反垃圾郵件網(wǎng)關(guān)是拓波軟件的核心技術(shù)，專注于反垃圾郵件技術(shù)領(lǐng)域進行持續(xù)數(shù)十年的創(chuàng)新、研發(fā)與技術(shù)積累，TurboGate保持著99+%以上的垃圾郵件攔截率，用戶滿意度高，穩(wěn)居企業(yè)郵件系統(tǒng)專業(yè)領(lǐng)域最高的軟件技術(shù)水平。

垃圾郵件群發(fā)業(yè)務(wù)是一個龐大的全球市場，垃圾郵件發(fā)送者時刻在變化和升級垃圾郵件的發(fā)送方法和技術(shù)，努力逃避各種反垃圾郵件網(wǎng)關(guān)的攔截，達到提高垃圾郵件發(fā)送量的商業(yè)目的，垃圾郵件發(fā)送技術(shù)的不斷變化和技術(shù)更新，給企業(yè)郵件系統(tǒng)管理員的運維工作帶來了很大的壓力，如何高效攔截千變?nèi)f化的垃圾郵件，保障給企業(yè)提供清潔高速的辦公郵箱，并且不能產(chǎn)生誤判，需要優(yōu)質(zhì)的反垃圾網(wǎng)關(guān)來支持。

常見的垃圾郵件發(fā)送“技巧”有：

• 盜取身份，來自“好人”的身份欺騙：垃圾郵件制造者使用的手段相當多樣化，他們收集全球范圍的發(fā)信者IP地址，使用新的垃圾郵件域名，垃圾郵件或藏匿在其他“健康”url的后面以創(chuàng)建url好信譽，或利用如博客、免費網(wǎng)站等這些免費場所來達到身份欺騙。在發(fā)送過程中，它們用同樣的技巧來隱藏發(fā)信者IP地址，將url重定向到已知垃圾郵件域名或IP地址，或者使用許多免費的資源。
• 圖片垃圾郵件及多層圖片垃圾郵件：在所有的垃圾郵件中，圖像垃圾郵件的比例攀升到超過15%。垃圾郵件發(fā)送者越來越會隱蔽信息，他們以圖片的形式發(fā)送，而不是用文本。圖像垃圾郵件還會加重電子郵件系統(tǒng)的負擔(dān)，因為每封圖像垃圾郵件所占空間大約是普通垃圾郵件的7.5倍。
• 躲避全球IP監(jiān)控及信譽評分：信譽評分技術(shù)是指根據(jù)信譽（reputation）篩檢郵件的方法，依照寄件行為接受評比。評比標準依據(jù)幾項變數(shù)，例如收件人的申訴率、發(fā)送郵件的數(shù)量，以及對收件人取消訂閱要求的回應(yīng)。另外，ip地址黑名單也是垃圾郵件發(fā)送者要回避的，為此，他們必須不斷尋找新的僵尸服務(wù)器代發(fā)垃圾郵件。
• 躲避內(nèi)容過濾，夾帶URL或者電話號碼：越來越多的垃圾郵件發(fā)送者為躲避內(nèi)容過濾引擎，將郵件偽裝得越來越像一封正常郵件，而郵件中夾帶的URL地址或者電話號碼才是垃圾郵件發(fā)送者真正的意圖所在。這些非法新技術(shù)的隱蔽性和擴張性大大優(yōu)于他們的前身，造成當今垃圾郵件泛濫成災(zāi)。

為了高效攔截泛濫成災(zāi)的垃圾郵件，拓波軟件不斷升級TurboGate反垃圾郵件網(wǎng)關(guān)解決方案，核心的技術(shù)有：

1.TurboGate綜合算法評分引擎

TurboGate綜合算法引擎是一種復(fù)雜的綜合反垃圾算法引擎，目的是對每封郵件包含的數(shù)項屬性和內(nèi)容進行分析后，根據(jù)特定的評分標準和閾值來進行綜合計算，再真正有效的做垃圾郵件的評定，TurboGate綜合算法評分引擎采納的參數(shù)至少有以下十四項：

• 可疑來源評分
• 反向域名匹配級數(shù)
• 可疑反向域名加分
• MX記錄不存在評分
• 發(fā)件人格式不正確評分
• 發(fā)件人域反向解析不匹配評分
• 主題分析評分
• 收件人不匹配評分
• 發(fā)件人與收件人相同評分
• SpamFilter垃圾郵件內(nèi)容評分
• SpamFilter郵件來源評分
• SpamFilter實時黑名單(RBL)
• SpamFilter內(nèi)容RBL規(guī)則評分
• TMSpamcheck評分
• 其他未公開評分

1）TurboGate綜合算法引擎是對一封郵件的所有內(nèi)容進行計算后再分析，不僅僅是表面能看到郵件頭、正文、附件、圖片來計算。例如：包含“免費”“賬戶”“發(fā)票”字樣的郵件不一定是垃圾郵件，如果僅通過這些來攔截，誤判非常大。TurboGate綜合算法引擎是智能的復(fù)合算法，它對郵件中各方面計算出數(shù)據(jù)的可疑性進行復(fù)合評判，非常準確的把握“正?！迸c“垃圾”之間的平衡，遠遠高于非1即0的靜態(tài)過濾技術(shù)。

2）TurboGate綜合算法引擎具備自適應(yīng)功能一一自動學(xué)習(xí)新的垃圾郵件樣本，以對抗最新的垃圾郵件。例如常被利用的變體字廣告，垃圾郵件發(fā)送者使用“f-r-e-e”來代替“free”，使用”5EX”代替“Sex”，以繞過關(guān)鍵字檢查，TurboGate通過非正常詞語來增加垃圾郵件的可能性分值，通過大數(shù)據(jù)進一步確定垃圾郵件內(nèi)容特征。

3）TurboGate綜合算法引擎是充分匹配每個企業(yè)郵件特征的個性化算法引擎。他能個性化去匹配不同企業(yè)郵局的郵件特征。例如，“發(fā)票”一詞對大多數(shù)企業(yè)郵局屬于垃圾郵件顯著特征，但對財務(wù)類公司則是常見郵件內(nèi)容。TurboGate綜合算法引擎針對不同的客戶類型提供不同的算法。

4）TurboGate綜合算法引擎支持攔截多語種垃圾郵件。

5）TurboGate綜合算法引擎無法被垃圾郵件發(fā)送者破解。由于采用的是復(fù)合綜合評分引擎，垃圾郵件發(fā)送者如需破解TurboGate的攔截，需要對各個方面的參數(shù)進行研究和造假，這種難度和成本是“不可能完成的任務(wù)”。

2.高強度發(fā)件人特征識別技術(shù)

在身份欺騙技術(shù)被垃圾郵件制造者廣泛利用的新形式下，TurboGate郵件安全廠商推出了針對高強度發(fā)件人特征識別技術(shù)，拓波軟件提供“假裝無法連接”出錯欺騙的特征識別技術(shù)加入TurboGate垃圾郵件網(wǎng)關(guān)中，通過“假裝無法連接”試錯方法，來驗證發(fā)信者身份并預(yù)測其真實性，這其中包括反模仿垃圾郵件發(fā)送者的網(wǎng)絡(luò)連接行為以及針對這些行為特征加強多種身份驗證方法以進行深度辨認的措施。拓波軟件通過勾勒出各種垃圾郵件發(fā)送特征，設(shè)計試錯身份驗證，引發(fā)垃圾郵件發(fā)送者暴露出其異常網(wǎng)絡(luò)連接行為，從而達到高強度身份驗證的技術(shù)。

3.信譽評分技術(shù) IP Reputation

拓波軟件專家把電子郵件信譽比喻成郵件服務(wù)器的駕駛記錄，如果駕駛記錄優(yōu)，發(fā)郵件比較暢通；如果駕駛記錄較差，你需要扣分才能繼續(xù)駕駛；如果駕駛記錄不及格，你不能繼續(xù)駕駛，需要重新考證。通過駕照記錄來理解郵件發(fā)送服務(wù)器的發(fā)件通行證，拓波軟件通過歷年積累的IP池和域名池的發(fā)送白記錄、黑記錄來對其做評分，形成TurboGate智能化郵件來源信用評分庫，這成為TurboGate計算垃圾郵件值的重要參數(shù)之一。

4.多重圖片 OCR識別技術(shù)

打擊圖片垃圾郵件的主導(dǎo)技術(shù)有圖片垃圾郵件指紋識別技術(shù)、ocr識別技術(shù)以及之后的第三代圖像防御技術(shù)。TurboGate反垃圾網(wǎng)關(guān)綜合應(yīng)用了這三個技術(shù)。

圖片垃圾郵件的發(fā)送者們的技巧有：

• 使用動態(tài)的gif圖像使內(nèi)容占用多幀；
• 采用橫線，符號和其他圖像來模糊圖片內(nèi)的文字，偽裝垃圾廣告特征；
• 主要針對在圖片廣告中加入其他圖片來混淆掩飾；
• 通過在圖片中使用不同顏色的對比來展示廣告內(nèi)容。

為了對付這些技巧，TurboGate 提供新型復(fù)合ocr圖片識別技術(shù)，深入分析圖片，在進行ocr識別之前對表象圖片顯示進行計算，以及組合文字，背景等手段，識別效率為96%左右。

5.意圖分析技術(shù) Intention Analysis

意圖分析是指鑒別郵件內(nèi)容中包含的行為和意圖，絕大部分垃圾郵件背后的動機是讓接收人去做這幾個動作：登陸某個站點，撥打某個電話，或其他。可從郵件內(nèi)容去分析這些動機，從而判斷垃圾郵件“意圖”。

即使郵件發(fā)送者試圖通過各種手段來逃避被反垃圾攔截系統(tǒng)拒絕，但他們最終的目的還需要驅(qū)使用戶去打開其他網(wǎng)站或者撥打電話。拓波軟件的TurboGate網(wǎng)關(guān)維護著垃圾郵件發(fā)送者常用網(wǎng)站地址庫或常用電話，能夠基于郵件中插入的這些信息攔截垃圾郵件。

意圖分析也是TurboGate阻斷垃圾郵件非常有效的手段，在TurboGate垃圾郵件防火墻的過濾的垃圾郵件中，通過意圖分析技術(shù)過濾的郵件數(shù)量占到了10-20%。

6. 網(wǎng)絡(luò)連接攔截

網(wǎng)絡(luò)連接攔截功能比較基礎(chǔ)，卻是攔截垃圾郵件的重要部分，主要有以下技術(shù)：

1）速率控制
自動垃圾郵件軟件的特征是向一個郵件服務(wù)器在短時間內(nèi)發(fā)送大量垃圾郵件。為了保護郵件服務(wù)器免受攻擊，TurboGate垃圾郵件防火墻對從來自同一個IP地址的連接進行計數(shù)，并在這個連接超出閥值時斷開連接。

2）IP地址信譽評價
在對異常的IP地址進行速率控制后，TurboGate垃圾郵件防火墻對其分析以決定這個IP地址的信譽度。
用戶可以自定義IP黑白名單，同時還可利用TurboGate黑白名單庫，TurboGate不建議使用互聯(lián)網(wǎng)公開收集的RBL庫，誤判率很高。

3）發(fā)送者驗證
垃圾郵件通常會隱藏一個非法的來源IP地址。TurboGate垃圾郵件防火墻提供發(fā)件者驗證功能并且提供策略，包括協(xié)議驗證、DNS查詢、發(fā)送者欺騙保護、自定義策略以及發(fā)送者策略框架（SPF）。

4）收件人認證
有很多垃圾郵件發(fā)送者是通過廣泛的在互聯(lián)網(wǎng)上收集郵件地址來進行發(fā)送行為。TurboGatr垃圾郵件防火墻提供來收件人地址認證功能，包括如協(xié)議匹配、用戶自定義策略、LDAP收件人認證、SMTP收件人認證等。

5）DNS反向查找
在發(fā)郵件的時候，隨意編造一個域名是非常容易的，垃圾郵件發(fā)送者經(jīng)常采用這個方法來迷惑郵件網(wǎng)關(guān)和欺騙用戶，DNS反向查找技術(shù)是指收到郵件時對發(fā)件人的地址的真實性進行核查，防止DNS欺騙。

6）攔截炮彈式服務(wù)攻擊
在一個極短的時間里，向一個郵件服務(wù)器發(fā)送大量的郵件，耗竭郵件服務(wù)器的資源使郵件服務(wù)器癱瘓，無法正常地提供郵件服務(wù)，這就是針對郵件系統(tǒng)的炮彈式服務(wù)攻擊。TurboGate將郵件系統(tǒng)在一定時間內(nèi)處理的郵件數(shù)量限制在一個合理的范圍，就可以有效地防止拒絕式服務(wù)攻擊。

7. SPF驗證攔截

SPF是發(fā)送方策略框架（Sender Policy Framework）的縮寫，一種以IP（互聯(lián)網(wǎng)協(xié)定）)地址認證電子郵件寄件人身份的技術(shù)，是TurboGate反垃圾郵件網(wǎng)關(guān)的輔助功能，應(yīng)對的是垃圾郵件中發(fā)送方假冒的問題。當用戶定義了他的域名SPF記錄之后，接收郵件方會根據(jù)該用戶的SPF記錄來確定連接過來的IP地址是否被包含在SPF記錄里面，如果在，則認為是一封正確的郵件，否則則認為是一封偽造的郵件，從而識別存在發(fā)信人偽造域名的垃圾郵件。

通過多種自主研發(fā)的反垃圾郵件核心技術(shù)的結(jié)合應(yīng)用，TurboGate擁有99+強悍的垃圾郵件攔截效率，將誤判率降低到0，保障企業(yè)郵件收發(fā)業(yè)務(wù)的綠色高效進行。