注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

深圳外贸网站建设

外贸网站制作|外贸网站设计|英文网站建设|做网站|外贸网站建设公司|深圳网络公司

 
 
 

日志

 
 
关于我

专业提供网站策划、外贸网站建设、营销型网站建设、企业网站制作、品牌网站设计、高端网页设计、域名注册、虚拟主机、企业邮局、网站改版、网站优化及网站维护等服务。详情咨询: (0)13410510813 QQ:714484075

网易考拉推荐

民治网站建设|龙华民治做网站|民治网站制作公司|民治网站设计|龙华网络公司  

2012-11-07 10:26:33|  分类: 网站优化 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

网站优化的第一堂课 理解蜘蛛是怎样工作的

作为一名网站优化从业者,竟然不理解蜘蛛是怎么工作的,这样的优化,肯定是事倍功半,理解蜘蛛才应该是网站优化从业者的第一堂课。

这里很多Seo高手,都知道外链和内容。这些用不到我们分享,今天只讲蜘蛛。因为,这是我在给他们公司培训的时候发现的一个很严重的问题:他们都听说过蜘蛛,知道蜘蛛是干什么的,但是不知道蜘蛛是怎么工作的。

 一、蜘蛛的来路有哪些,它是怎么到你的网站的

  通常来说,蜘蛛的可以通过三种途径到达你的网站,分别是主要提交网站,通过在其他网站的连接跟踪到你的网站,有一定规律的自由行动。

  很多人都说现在蜘蛛很智能不用提交网站了,其实错了,是因为你在其他网站发布的外链引来的蜘蛛。这两种形式都是可操作的,最后一种比较特别,我们通常会认为蜘蛛会按照1-0,a-z 这样的方式对域名进行扫描,然后进入其中的网站。

 二、最大程度的利用你的Robots,这是网站大门

  按照常规的说法,Robots文件是限制蜘蛛在你网站的活动范围,更好的保护网站所有者的权利和隐私。这是蜘蛛到达一个网站后要做的第一件事情,如果一个网站没有该文件,蜘蛛则认为是该网站所有的内容均可挖掘。

  在Robots文件中,一般只用到禁止(Disallow)。其实你还可以用推荐允许(Allow)。一个网站中有很多暗角是蜘蛛不能爬行到的,这时候,你可以用Allow指引蜘蛛,你可以多做一些地图页面,让蜘蛛在上面活动。

  也有人说,为什么要用Allow,直接使用Sitemap不就可以了么。我们都知道,其实大家更看重的Sitemap,谷歌是完全没问题的,而百度蜘蛛理解起来是有一定问题的,不能很好的发挥他的作用。

 三、蜘蛛在一个网站域内(domain)的活动方式

  相信大家都看过百度给出的《搜索引擎优化指南》,深圳网站建设推荐没有看到的Seo们一看要去看看,他上面有提到自己更推荐的Url方式,树形和扁平。你只知道这样有助于优化,却不知道为什么这么做。

  蜘蛛在一个特定域内遵循两个原则,广度和深度。其中我们认为广度优先,蜘蛛一般不会在一个特定域内在纵深上爬行太多。蜘蛛会在一个页面出来完成的时候再进入下一个内链信息丰富的页面。做成频道页和列表页,能够让蜘蛛更顺畅的去爬行一个网站。

  其实不一定非要把一个网站做成domain/url_a/ 这种形式,也完全可以是domain/url_a.html 只要你的页面丰富程度和上一个一样就行。这里说的丰富不是内容,是内链。

 四、蜘蛛在一个网站的权限等同于一个普通未注册会员

  这个简单提一下,蜘蛛就等同于一个网站的未注册会员,他的权限就是这个,如果你的网站不对未注册会员开放,或者设置了隐私权限,只对会员的好友,或者其他什么,那么蜘蛛是不可能抓取到你的内容的。

  这也是,外链发布要做到多样性的重要原因之一,让蜘蛛从更多不同的角度去理解你的网站。

  评论这张
 
阅读(159)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017