反垃圾邮件的前世今生

文章来源：泛普软件

在网络世界报社举办的2007网络安全巡展中，反垃圾邮件技术一直是其中的热门话题。随着互联网应用的深入，越来也越多的企业将邮件系统整合为自身的业务系统之一。在这种情况下，泛滥的垃圾邮件对企业的业务造成了巨大的影响，大量企业对于垃圾邮件的防御也在逐步重视。

垃圾八大害

要是在三年前，提起垃圾邮件人们的反应往往是，无聊的人干的无聊的事。这句话的另一层意思，就是垃圾邮件并非什么大不了的问题。不过时过变迁，随着企业对于邮件系统与业务系统整合程度的提高，垃圾邮件的问题逐渐被用户所重视。

正如国家计算机应急响应中心安全专家杜跃进博士所讲的，随着垃圾邮件与病毒、木马、间谍软件、钓鱼攻击挂钩，垃圾邮件的盈利性逐步体现出来，而这进一步造成了越演越烈的垃圾邮件泛滥。其中，不论大型企业还是中小企业，都无法避免。

对此，IronPort中国区总经理李松曾不无担心地表示，从全球的统计看，互联网上70%的邮件都是垃圾邮件，这些邮件不仅浪费用户大量的处理时间，而且大量病毒、URL链接、股票欺诈信息业在其中传播，危害巨大。他建议不论是大型企业还是中小企业都要关注垃圾邮件，因为中国的电信运营商和邮件服务商都已经被国际反垃圾邮件组织列为重点关注对象，事实上，中国已经成为世界第二大垃圾邮件生产国。

有国际组织声称，垃圾邮件是互联网带给人类最具争议性的副产品，它的泛滥已经使整个因特网不堪重负。而神州数码网络的高级产品经理王景辉认为，对任何企业来说，垃圾邮件造成的通用危害至少有八点：

第一，占用网络带宽，造成邮件服务器拥塞，进而降低整个网络的运行效率。

第二，增加破坏机械设备的可能。垃圾邮件通常都可能携带危险的病毒、蠕虫，对电脑硬盘造成威胁。

第三，侵犯收件人及收件人所在公司的隐私权，侵占收件人及收件人所在公司的信箱空间，对有用电子邮件的抵消。有的邮箱储存的邮件数量有限，超过限度后，旧邮件就会自动消失，大量垃圾邮件会使有用的电子邮件很快化为乌有。

第四，耗费公司员工的时间、精力和金钱。一般来说，人们需要至少10秒钟来判断收到的邮件是否为垃圾邮件。如果每天收到几十份垃圾邮件，就得花大约10分钟的时间来处理它们。

第五，有的垃圾邮件还盗用他人的电子邮件地址做发信地址，严重损害了该人和其所在公司的信誉。

第六，被黑客利用成助纣为虐的工具。黑客先是侵入并控制了一些高带宽的网站，集中众多服务器的带宽能力，然后用数以亿万计的垃圾邮件猛烈袭击目标，造成被攻击网站网路堵塞，最终瘫痪。

第七，严重影响ISP的服务形象。在国际上，频繁转发垃圾邮件的主机会被上级国际因特网服务提供商列入国际垃圾邮件数据库，从而导致该主机不能访问国外许多网络。而且收到垃圾邮件的用户会因为ISP没有建立完善的垃圾邮件过滤机制，而转向其它ISP。一项调查表明：ISP每争取一个用户要花费75美元，但是每年因垃圾邮件要失去7.2%的用户。

第八，妖言惑众，骗人钱财，传播色情等内容的垃圾邮件，已经对现实社会造成了危害。

新形式出现

从国内的情况看，商业广告类垃圾邮件是目前最多的垃圾邮件形式。据王景辉介绍，这种形式多是企业所谓的邮件营销行为，通过邮件方式向顾客发送产品、服务信息。网上免费下载的软件可迅速搜索大量电子邮件地址，然后按址发送即可。成本极低是其最大优势，广告商只要投入一台普通电脑及上网费用即可发送出上百万封电子邮件广告。

据记者了解，现在有不少电子技术娴熟的人就以此为业，专门为企业发送垃圾电子邮件广告。在中国，该类型垃圾邮件数量最多。

另外，杜跃进博士也指出，携带病毒类垃圾邮件是危害最大的垃圾邮件，严重者甚至能造成整个互联网的瘫痪。广告类垃圾邮件造成的危害更多是在于耗费公司员工的时间、精力和金钱，而携带病毒类垃圾邮件除了对公司的电脑硬件造成的破坏之外，更有甚者将带来钓鱼式攻击。

据悉，网络钓鱼攻击主要以骗取用户各种在线交易的账户、密码从而造成严重经济损失。这些钓鱼式攻击比较隐蔽，随着宽带网络进一步普及，用户将面临更多的线上交易安全风险。

目前来看，国内的商业广告类垃圾邮件和病毒类垃圾邮件都属于第一、第二代垃圾邮件形式，而目前在国外已经发现了大量第三代垃圾邮件。

SurfControl的高级技术顾问张勇透露说，国外第三代垃圾邮件以图形技术为基础。一些商业垃圾邮件发送机构不惜重金制作图形正文，赢利已经成为其首要目标。

据悉，在第三代图形垃圾邮件中，煽动用户买卖股票、贩卖药品、以及传播色情网站信息排在前三位。而根据美国联邦调查局最新披露的信息，美国一名13岁少年就成功利用图形垃圾邮件向他人兜售虚假股票信息（宣传某只股票会升值），以谋得暴利。

李松透露说，目前国内的中文垃圾邮件以文本为主，其中促销和诈骗信息最多。但从2007年1季度的截获情况看，中文图形垃圾随着内地股市的暴涨而逐渐显现，目前已经出现了一些可以轻松避开邮件安全网关的垃圾邮件样本。

防垃圾的TMD

俗话说，道高一尺，魔高一丈。杜跃进曾比喻说，防导弹需要TMD，防垃圾邮件一样需要TMD。既然垃圾邮件想尽办法要进入企业内网中来，那么企业最好也搭建适合自身需要的垃圾邮件防御系统。

目前反垃圾邮件的技术有很多，据王景辉介绍，不同的反垃圾邮件产品采用的技术有所不同，但总体来说，不外乎以下几种，像关键字、IP地址黑白名单、贝叶斯算法、垃圾邮件评分、指纹识别、实时黑名单列表、意图检测、DNS反向查找、防止字典攻击、垃圾邮件防火墙、邮件域名过滤都是常见的办法。

以黑白名单为例，这种技术目前采用最广。网络层的黑白名单是针对IP地址而言的，相信的IP地址允许发送邮件，不相信IP地址的不允许发送邮件。后来由这个机制，各家安全厂商逐渐演化为实时的黑名单RBL机制。RBL利用了互联网的力量，目前互联网上有很多组织来动态维护这个名单，他们会把常发垃圾邮件的机构、组织放进黑名单中去。而主流的反垃圾邮件厂商也都是RBL的一员。

当然，仅仅采用RBL类技术还不足以杜绝垃圾邮件的源头。事实上，最近微软公司公布了自己的反垃圾邮件技术SPF，并一度引起了业界的震动。

据悉，SPF技术非常强调对邮件发送者的身份验证。在传统的邮件系统中，域名服务器只有收件服务器的记录，主要记录这个域中哪几台服务器是用来收邮件的，但是没有发件服务器的记录。而SPF则在DNS中加入发件服务器的记录。这样一来，如果一个黑客，冒充微软公司的名义发一封邮件给某位用户。这时如果该用户的设备支持SPF，系统就会连接到微软的DNS中，并解析微软的发件服务器是哪几个IP地址，然后再与黑客发送的信息的源IP地址进行比较。此后系统会发现黑客邮件的发件人写的是微软，但其发件服务器的地址不在相应列表中，这时候系统判定黑客是一个伪造的发件人，这样邮件就会被拦截掉。

目前来看，SPF技术从发件的源头来判断，是非常科学的。但困扰SPF的是，这种技术要求所有的反垃圾邮件厂商需要支持微软的标准，另外也要求全球所有电子邮件系统的域名系统都要进行改造和升级。换句话说，即使SPF技术很好，但是实施起来的难度和成本太高，因为涉及的面太广了，进一步普及还是有难度。

另外，在建立防御垃圾邮件的TMD中，趋势科技的安全专家曾嵘发表了很好的建议：分层拦截、网关桌面相配合。他认为，因为无论是从反钓鱼来看，还是从反垃圾邮件的结果看，这都体现出了一个多层次的立体防御网络模型。

有意思的是，张勇对类似看法也相当认可。他甚至表示，整个模型可以划分为三个层次。第一层是互联网云内拓扑。在互联网云当中，企业用户使用安全厂商托管的反垃圾邮件服务，在邮件的各种威胁还没有进入到公司之前，在互联网中就已经清除掉了；第二层是网关设备拦截。在企业网络的边缘，当垃圾邮件威胁还没有进入到企业网中的时候，在边界进行防御；第三层是桌面防护。当垃圾邮件威胁到达桌面系统的时候，再进行进一步的阻断，这需要与反病毒厂商联手。他认为，这三层是一个相互补充的结构。

防御图形垃圾

前面说过，以图形垃圾为代表的第三代垃圾邮件已经在国外出现泛滥之势。有意思的是，人眼极易识别图片垃圾邮件。事实上，这正是图片垃圾邮件吸引垃圾邮件发送者的属性之一，因为他们在发送图片垃圾邮件时，不必为了避免被过滤掉而像处理传统的文本垃圾邮件那样花费很大的力气去模糊邮件内容。

但是，如果这种垃圾邮件对于最终用户如此明显，那么为什么垃圾邮件过滤器无法识别呢？答案在于，人可以利用非常丰富的数据集而不仅仅是显示的文本来解译消息内容。图片颜色、形状、字体的大小和类型、图形等属性以及其他许多特性也是形成用户认知消息的因素。这些信息对于传统的内容过滤器是完全隐藏的。

据王景辉介绍，图形垃圾邮件是目前最能有效规避过滤机制的发送机制，所有文字皆以图形做成，若是使用关键字来作垃圾邮件识别的工具就无法发挥作用。但厂商也能使用光学识别技术，识别图片中的文字，如增加了一些OCR的插件。另外一种拦截的思路是使用栏杆技术，在SMTP会话阶段就返回4XX错误，拒绝可疑的图形垃圾，第二次投递再放其进入，但这样也很容易被2次重发而绕过。

不过从结果上分析，无论采用哪种技术，目前对图形的防御效果都不是很好。对此，李松解释说，按照传统的垃圾邮件防御理论，一个图片在系统中可以生成二进制代码。而普通预防垃圾邮件的网关，都是看二进制的代码是否相同来判断。但是，如果在图片中打一些光点、做一些横格、进行一些切分，二进制的代码就变了。目前，国外的黑客利用全球的僵尸网络复制图片，然后利用无顺序的规则切片或者加入干扰点，造成每一张图片的二进制代码都不相同，防御难度极高。

据介绍，目前对于图形垃圾邮件比较有效的防御手段，就是多维模式识别技术（MPR）。传统的反垃圾邮件内容过滤器依赖的数据，容易被发送人控制。而多维模式识别技术则是跨13个以上的纬度进行分析，分割图片更细致，引擎会从不同角度去解析，包括图片本身以及图片中干扰点的规则。

记者了解到，多维模式识别技术属于目前安全界所提倡的模糊控制技术的一种。这种技术的核心，是把变化当成规律的一部分，而IP地址、包头包尾信息、Web页面链接、图片本身像素、图片分割画面、干扰底层颜色变化，都是纬度之一。

以颜色维度为例，颜色维度提供了丰富的有关消息内容的信息。系统对每条消息的颜色分布进行分析，以确定消息是垃圾邮件的可能性。例如，系统可以对.gif文件进行扫描，确定其像素模式。像素模式能够表明图片文件向用户显示的是“全文本”，这种模式常见于垃圾邮件中却罕见于合法邮件中（大多数合法的.gif文件包含的是图片而不是文本）。系统还可以发现图片中与合法邮件常见的“更加平滑”的光线渐变现象不吻合的异常“圆点”，而这些原点可能是垃圾邮件发送者试图欺骗特征的表现。

为了使这层检查成为可能同时又不损害性能，系统应用了“及早退出”的理念。这意味着更彻底的多维检查过程，只应用于那些已经通过常规的上下文自适应扫描并且带有图片的消息。要知道，多维检查过程也运用了同样的理念，如果对部分图片文件进行分析后就有足够的数据确定这是一封垃圾邮件，就不再对整个图片文件进行分析。最后的结果是，多维检查过程不仅准确，而且比传统的OCR技术快若干倍。这种技术之所以有效的关键在于反垃圾邮件的实时性。每五分钟对系统进行一次更新，确保即时、准确地保护系统不受基于图片的垃圾邮件的威胁。

底层系统与性能

记得在安全巡展过程中，一位上海的用户曾问到，面对层出不穷的垃圾邮件，各种防御技术也应运而生。但用户关心的却是，反垃圾邮件设备的性能是否会因此而下降？

用户的疑问记者也很关心。经过多方查证，记者发现，性能问题在很大程度上与反垃圾邮件设备的操作系统与处理机制有关。

目前来看，反垃圾邮件设备的操作系统很多都是在Unix、Linux系统上进行裁减和增强的，当然也有一些厂商采用了专门定制操作系统的做法。据张勇介绍，反垃圾邮件设备操作系统中的邮件传输代理MTA模块对邮件的收发性能影响最大。原理很简单，因为邮件的收发不依赖于网络的带宽，不依赖是百兆还是千兆的网卡。而邮件对CPU的要求也不高，其主要依赖的还是磁盘的操作速度。磁盘是否够快，收发邮件的时候磁盘操作是否够少，都影响着系统的性能。

据介绍，目前所有的反垃圾邮件操作系统都有文件系统，一般的MTA都要依赖于文件系统。举例来看，设备收到一封邮件，会把这封邮件作为一个文件存储在操作系统上。但是邮件的特性是大小不一，从几千字节到几十兆都会有，写入硬盘容易造成很大的磁盘碎片，而且常会造成很深的磁盘目录。因此系统查询一封邮件要遍历很多的目录，如账户、日期、时间、类别等等。

对性能有利的做法是，设备在这块磁盘上独立划分出一块裸磁盘直接管理，绕过操作系统的文件系统。比如一些反垃圾邮件系统中带有数据库，利用数据库的指针操作来管理这块磁盘。假如邮件A需要1M空间，处在10条数据库队列中的某一条，指针指向从XXXX开始，到XXXX结束；邮件B则是另一条对列中，以此类推。那么在查询邮件的时候，数据库的操作会比磁盘目录遍历的操作快很多，而且可以绕过操作系统管理裸磁盘，避免了大量碎片的产生。

另外，邮件接收存储在磁盘以后，会牵扯到内容扫描等过程，这样又会产生一个读的操作。为此，一些专业的反垃圾邮件厂商开发了Read Once技术。所有邮件进来只写一次，写完之后其他的所有扫描，包括内容判断与隔离，都不会再牵扯到写的操作。

反垃圾邮件的前世今生

泛普南昌OA信息化其他应用