博客网站百度蜘蛛抓取频次多少为正常
作者:秋了秋 发表时间:2014年12月28日
什么是抓取频次?抓取频次可以通过站长平台获得,在百度站长平台里,抓取频次也是抓取压力数,正确理解为Baiduspider每天访问您网站的次数。
一个个人博客网站百度蜘蛛每天的抓取频次多少为正常?这也是很多个人博客站长很困惑的事情。前面秋叶网络博客写了一篇文章《百度工程师对SEO的相关问答》,文中提到了关于百度蜘蛛抓取的问题:有的站点我们一天会抓一两千万,有的站点只抓几个、几十个,看你的规模和质量,而且这个抓取量也是会根据网站的情况进行调整的。
那么说道这个抓取是按网站规模进行抓取的,所以站长依旧很茫然,但是对于个人博客站规模都相差不大的,多几百篇文章算不了什么,所以暂且可以这样定义,个人博客网站的规模都是一样的,那么秋叶就站在这个角度为大家解惑。
很多站长认为,网站坚持更新,百度蜘蛛抓取频次就会越来越多。首先要知道蜘蛛对网站的抓取频次不是越多就越好,也不是越少就越好,正常的抓取频次是有一个固定范围的。先来看看秋叶网络博客近一个月的抓取情况:
可以看到现在几乎维持在200~300/天的这个范围,不要以为11.28~12.13抓取频次非常高,甚至有的时候还达到了900频次,后来怎么降下来了啊,是不是降权了啊,我可以告诉你,这段时间都是极不正常的,只有降下来之后的才是正常的现象,而且在高峰期之前也是200~300频次的,即大部分都是200~300频次。对此我得出结论:个人博客站点蜘蛛的正常访问频次为200~300次/天,为了使得结果的科学以及具有说服性,我还问过一些资深站长,他们反映蜘蛛对他们站点的抓取也是200~300次/天。
只有是符合这个值的网站才可以说是正常的,抓取频次太高有几种可能导致你的站点不正常,其一是:robots.txt没做好,导致蜘蛛大量抓取一些内部和没用的页面,包括一些重复页面。其二是网站的过度优化,百度对网站的过度优化是很敏感的,它喜欢自然的东西,刻意优化会造成让它反感甚至有作弊嫌疑,当你的网站有作弊嫌疑的时候,蜘蛛大军就会大量造访你的网站,每一个蜘蛛的分工都不同,其目的就是在你的网站上找出充分的证据证明你是作弊的,它会把各种算法通过蜘蛛集中放到你的网站上去验证,能不能躲过此劫,就看你是不是真的作弊了。其三是网站结构的不合理性导致蜘蛛进入循环黑洞,爬取不顺畅。
同样抓取频次太低也是不正常的,有以下几种可能:其一是:长期不更新内容,更新内容不规律,三天打渔两天晒网。其二是新站点,新站点的规模差距还是挺大的,况且还没走出百度的沙盒期,只有网站做了比较长时间,赢得了搜索引擎的信任才会提高对你的网站的访问次数。