搜索引擎蜘蛛的抓取规律

发布时间:2012-12-22浏览:

核心提示:搜索引擎蜘蛛的抓取规律

一、新站的初期收录。

  新站建立好后,建议不要提交搜索引擎,因为搜索引擎会审核你的网站,最少也要半个月。搜索引擎会分析出你网站其中含有的链接,然后进行爬行,由于是新站,蜘蛛的反应也不会很快,一次可能抓取一两个页面就走,下次来再抓取几个页面。

  在网站初期有一个需要注意的问题,不能有死链接,所以我们这时候需要做个404页面,不管是从搜索引擎的角度还是用户体验的角度来说,都是有好处的。服务器要稳定,也就是一定要给蜘蛛营造一个好的爬行的环境,因为蜘蛛一旦碰上死链就会直接走掉,如果服务器不稳定,可能蜘蛛转一圈,一个页面还没有抓取就迫不及待要走了。新站的内部链接要有层次,而且四通八达,这样蜘蛛更好爬取,对于用户的浏览页方便的多。

  新站建立初期,一个友链的作用还是很大的,它可以大大增加蜘蛛在心战的爬取次数,可以一定程度上缩短收录时间。新站上线时,数据部能太少,要有足够的数据,同时内部链接要合理,这样就是一个成型的站点,蜘蛛爬行时对于这个站点的印象分页不会很低,就好比是现实交友一样,对于一个新朋友的第一印象不错,可能很快就会见第二次,第三次,蜘蛛也同样。

二、站点中期收录

  在搜索引擎对网站的收录进入稳定阶段时,有一个小诀窍可以增加百度蜘蛛的爬行次数。每天的更新内容不要一次更新完,可以2个小时更新一部分或者上午一部分,下午一部分。

  因为在这个阶段,有一部分的百度蜘蛛是通过首页进入的,一旦发现首页没有变化就离开。这样定时定量更新的好处就显现出来了,蜘蛛进入首页一次发现首页变动一次,爬行的当然就更加频繁了。

  同时多注意爬行的时间段,在这个时间段内进行更新,收录的速度是最快的。当然,这就需要一款可以随时查看蜘蛛的动向的工具了,很多CMS都具备这样的功能,能够很清晰的记录各大搜索引擎的机器人痕迹,包括停留时间、爬行过的页面等,都有详细数据,可以对每日爬行进行分析,或者对比几个栏目哪个爬行的次数最多。
 

 

智轩网络工作室


前一篇:定做程序设计
后一篇:影响搜索引擎蜘蛛抓取的四个关键
分享到: