网站优化教程:虚拟主机如何判断假蜘蛛
对于真假百度蜘蛛,相信SEO及站长们已经有明确的手段去辨别了。百度也在官方通告了如何去判别伪装成百度蜘蛛的抓取,详情请参考这篇文章:http://www.baidu.com/search/spider.htm
假蜘蛛对我们网站的危害是巨大的,具体有:
1.占用网站带宽,导致网站流量上升,增加额外开销
2.在有限带宽的前提下,阻碍了正常蜘蛛的抓取
3.误导了我们在对网站开展SEO工作时的思路
4.部分伪装成假蜘蛛的采集工具剽窃了我们的工作
我们看到,网上有很多人在分享如何“捉住”假蜘蛛的文章,但这些文章只是千篇一律的描述了“捉住”假蜘蛛的过程及操作方法。却没有分享从如何真正的判别蜘蛛的真伪。
作者本人最近在对一个电商网站进行SEO优化时,就碰到了这样一个案例,险些导致将真蜘蛛错当假蜘蛛来处理。
一、发现“假蜘蛛”
SEO优化要依靠大量的分析和数据来实现,其中日志分析是重中之重,在日志中我们可以看到很多平时统计工具无法看到的数据和事实。
每周三我都要对该电子商务网站进行周日志的分析,以便来统计上一周的优化效果,在本周进行对网站日志进行分析查看时,我发现了几个不属于认识中的“蜘蛛IP”,如图:
我们知道,百度蜘蛛一般来自于202.181.108.* 和123.125.71.* 这两个IP段(顺便科普一下,这两个IP段的百度蜘蛛没有所谓高权重和降权之分)。显然这三个IP在“常识”中,不属于百度蜘蛛所属的IP段。
为了确保不误杀百度蜘蛛,笔者用nslookup ip命令反解了此IP,得到以下信息:
这个时候,基本已经可以确定该IP不属于百度蜘蛛的IP段,是一个“假蜘蛛”,我们需要屏蔽该IP释放那些被占用的带宽。
二,误会“假蜘蛛”
就在要对以上提到的三个IP进行屏蔽的时候,笔者突然想到,这个电商网站在上周通知我他们要使用安全宝服务,需要将DNS解析到安全宝的服务器上,而安全宝则会根据用户的访问情况,选择距离最近的一个节点进行CDN加速。
在我之前的例行SEO检查中,发现网站IP被解析到了陕西的一个IP上,而这个网站IP和这次我从网站日志中发现的三个“假蜘蛛”IP属于同一IP段。
为了验证这个推测,我又重新仔细查看了网站日志,发现谷歌蜘蛛和搜狗蜘蛛也来自于之前三个IP(之前对网站日志进行了拆分,只查看百度的情况,因为网站是针对百度做SEO的)。
这下子总算清楚了,这些所属IP的蜘蛛不是假蜘蛛,而是货真价实的百度蜘蛛、谷歌蜘蛛和其他搜索引擎的蜘蛛。只不过因为他们通过了一次CDN节点,所以造成了他们的来源IP是一致的。
三,虚拟主机如何产生“假蜘蛛”
由此笔者突然想到,之前在阅读相关文章的时候,经常会看到有站长抱怨发现假蜘蛛,来自XX机房(就那么一两家机房)。
这是一件很奇怪的事情,莫非采集工具和假蜘蛛都产自这个机房?事实自然不是那样的,而是:
1.很大一部分发现假蜘蛛的站长,所使用的是某主机供应商提供的集群主机,或类似性质的虚拟主机。
2.集群性质的虚拟主机,同CDN的道理是相同的,即将客户的空间和站点资料同步到同一个群组的所有服务器上。
3.蜘蛛的来源不同,一些是直接访问站点的,另一些是通过一些外链访问站点的。而这些通过外链访问站点的蜘蛛,会就近通过CDN节点访问。
4.CDN节点每家公司都不一样,但大致分为地域大区(不是省)和电信、网通这样的方式划分。
5.那些通过CDN节点访问网站的蜘蛛,来源IP自然不是从北京总部出发时的IP。
最终事情得到了很好的解决,该电商网站自优化以来效果一直良好,虽然采用了CDN,但事实证明CDN对搜索引擎而言没有任何障碍,反而有利于网站速度和提高用户体验。
这个SEO案例也同时告诉我们,网上的SEO教程是会过时的,随着互联网的进步,我们SEO也要学会理智的去对待一些教程和分享,要有质疑和勇于实践的精神,同时对互联网的一些基本的技术知识要有所了解。
- 1OA办公协同系统
- 2OA办公自动化
- 3OA办公软件系统
- 4OA应用
- 5OA移动
- 6OA系统对比
- 7办公室OA
- 8OA办公软件
- 9OA定制
- 10家电行业ERP系统(OA)
- 11煤炭行业ERP系统(OA)
- 12食品行业ERP系统(OA)
- 1Matt Cutts暗示未来SEO的变化和对待SEO的变化
- 2网站关键词排名下降原因分析:历数被降权的11个原因
- 3搜索引擎对网站质量评级的几个重要因素
- 4结合公司产品特点的销售策略:合格SEO需要考虑的问题
- 5优化网站教程:网站优化学别人自己被惩罚的原因
- 6近期百度搜索算法变动:分析网站被K原因
- 7化龙巷网站改版案例:改版后SEO的优势和劣势
- 8分享网站优化超越竞争对手的核心因素
- 9WordPress SEO教程:WordPress整站SEO指导
- 10判断百度指数是否真实:关键词流量和百度指数相关参数
- 11正确诊断网站优化:诊断网站存在的优化问题案例
- 12语义搜索影响SEO:查找语义关键字的工具
- 13GOOGLE站长管理员工具:搜索引擎优化(SEO)错误
- 14SEO辅助插件:Chrome浏览器常用SEO插件介绍
- 15网站优化教程:Zone Indexes算法SEO定义和实例
- 16利用博客做SEO优化:新浪博客做SEO
- 17GOOGLE关键词排名与作者的权威度有关
- 18SEO网站营销推广:短网址对SEO有没有影响
- 19医疗行业SEO将如何发展?医疗行业SEO真的要覆灭了吗?
- 20网站运营经验分享:做好网站生态圈
- 21企业为何要求专业的网站开发公司做官网呢?
- 22网站建设好之后稳定网站排名的办法
- 23SEO新型技术:金字塔矩阵排名技术和操作原理
- 24SEO技巧2012年总结:seo不总结就不会进步
- 25网站优化教程:DEDECMS地图生成和百度Ping推送
- 26企业为何就要专业的网站建设公司做官方网站呢?
- 272013年度SEO:网站的质量和站外排名因素
- 28seo命不久矣:SEO到底该做哪些工作
- 29淘宝客+SEO:最稳健的导购网站模式
- 30搜索引擎优化教程:百度SEO方法汇总