Baidu spider抓取频次原则

发布：2017-12-21 18:03:54 浏览：2979

Baiduspider根据上述网站设置的协议对站点页面进行抓取，但是不可能做到对所有站点，视同仁，会综合考虑站点实际情况确定一个抓取配额，每天定量抓取站点内容.即我们常说的抓取频次，那么，百度搜索引擎是根据什么指标来确定对一个网站的抓取频次的呢，主要指标有以下4个:

(1)网站更新频率。更新快多来，更新慢少来，直接影响Baiduspider的来访频率。

(2)网站更新质量，更新频率提高了，仅仅是吸引了Baiduspider的注意，baiduspider对质量是有严格要求的，如果网站每天更新出的大量内容都被Baiduspider判定为低质页面，依然没有意义。

(3)连通度、网站应该安全稳定、对Baiduspider保持畅通，经常给Baiduspider吃闭门羹可不是好事情。

(4)站点评价。百度搜索引擎对每个站点都会有一个评价，且这个评价会根据站点的情况不断变化，是百度搜索引擎对站点的一个基础打分(绝非外界所说的百度权重)，是首度内部一个非常机密的数据。站点评级从不独立使用，会配合其他因子和阈值一起共同影响网站的抓取和排序。

抓取频次间接决定着网站有多少页面有可能被建库收录，如此重要的数值如果不符合站长预期.该如何调整呢?百度站长平台提供了抓取频次工具(http://zhanzhang.baidu.com/pressure/index)，并已完成多次升级。该工具除了提供抓取统计数据外，还提供“频次调整”功能，网站建设者根据实际情况向百度站长平台提出希望Baiduspider增加来访或减少来访的请求，工具会根据站长的意愿和实际情况进行调整。