跳至内容
ZH · ₺
面板登录 购买套餐
技术 SEO

抓取预算(Crawl Budget)是什么,与谁相关?

阅读约需 6 分钟

抓取预算(crawl budget)是指 Googlebot 在特定时间内愿意并且能够抓取您网站页面的数量。 对于大多数中小型网站来说,这并不是问题;谷歌自己的文档也明确指出了这一点。但对于拥有数十万地址的电子商务、分类信息和新闻网站而言, 抓取预算可能决定新页面被发现的速度。本文将客观地介绍这一问题与哪些网站相关、什么会浪费预算,以及真正有效的步骤。

什么是抓取预算?

Googlebot 并不会每天抓取您网站上的每一个地址。它的资源是有限的,需要在数十亿个网站之间分配。分配给某个网站的抓取量,通常被非正式地称为抓取预算。 重要的是:预算不是排名因素。被抓取得更多并不意味着排名更高;它只是有助于您的页面更快地被发现和更新。

两个组成部分:抓取能力与抓取需求

组成部分含义取决于什么?
抓取能力上限在不使您的服务器过载的前提下,Googlebot 可以发出的并发请求数量服务器响应速度、错误率(5xx)、托管资源
抓取需求谷歌希望抓取您网站的程度网站规模、受欢迎程度、内容变化的频率,以及页面是否“陈旧”

实际的抓取量是这两者中较小的那个。如果您的服务器变慢或频繁返回 5xx 错误,谷歌就会降低抓取能力。如果您的页面质量低、缺乏吸引力,抓取需求自然也会很低。 因此,提升抓取能力需要依靠托管性能,而提升抓取需求则依靠内容质量和受欢迎程度。

哪些网站需要关注?

根据谷歌为大型网站站长编写的指南,抓取预算管理在以下网站上具有实际意义:

  • 拥有约一百万或更多唯一页面,且内容以中等频率(如每周)变化的网站。
  • 拥有一万或更多页面,且内容变化非常频繁(每天)的网站。
  • 在 Search Console 中有大量地址处于“已发现 - 目前未编入索引”状态的网站。

拥有数百或数千个页面的企业网站、博客或小型商店不在此列。在这些网站上,新页面未能及时编入索引,通常不是抓取预算的问题,而是内容质量、内部链接或某种技术障碍造成的。 请先排除我们的索引问题指南中列出的原因。

坦率的提示:在小网站上纠结于“我是否应该提高抓取预算”,通常是在解决错误的问题。首先应确认页面可以被抓取、可以被编入索引,并且确实有价值。

什么会浪费抓取预算?

谷歌指出的主要浪费来源包括:

  • 筛选和排序组合(分面导航):在一个分类中,颜色、尺码、价格和排序选项组合在一起,可能为同一商品列表生成数千个带参数的地址。
  • 会话 ID 和跟踪参数:为每位访客生成不同 URL 的结构。
  • 重复内容:同一页面存在于多个地址上。合并时请参阅 canonical 标签。
  • Soft 404 和 404 页面:不存在但仍被反复抓取的地址。参见 404 错误与 SEO。
  • 过长的重定向链:每一步都会消耗一次请求。参见 301 与 302 的区别。
  • 无限空间:日历、“下个月”链接等会不断生成没有尽头的 URL。
  • 低质量和单薄的页面:被抓取但不被编入索引,白白消耗预算。
  • 服务器缓慢:响应时间越长,Googlebot 在同样的时间内抓取的页面就越少。

如何衡量?

  1. 抓取统计报告:在 Search Console 的“设置”中,“抓取统计”报告会显示每日请求次数、平均响应时间、响应代码分布以及文件类型。请先关注总请求数以及 5xx/404 比例是否出现突然变化。
  2. 服务器日志:这是唯一能准确显示每个地址被抓取情况的来源。您可以从中看到 Googlebot 最常访问哪些带参数的地址或哪些目录。
  3. 页面报告:“已发现 - 目前未编入索引”和“已抓取 - 目前未编入索引”状态的数量及示例地址。
  4. 站点地图对比:将站点地图中的地址数量与日志中被抓取的唯一地址数量进行比较。

示例场景:在一个拥有 20,000 件商品的商店中,如果日志显示 Googlebot 的大部分请求都指向类似 ?renk=...&beden=...&sirala=... 这样的带参数地址, 并且新商品数天都无法编入索引,那么问题很可能是抓取预算被消耗在了筛选组合上。 (这只是一个假设性示例;请在您自己的网站上通过日志加以验证。)

优化步骤

  1. 管理 URL 清单。使用 robots.txt 屏蔽您不希望被抓取的区域(站内搜索结果、没有价值的筛选组合)。关于如何编写规则,请参阅我们的robots.txt 指南。
  2. 合并重复内容。通过重定向或 canonical,将指向相同内容的地址汇集到一个地址。
  3. 对永久删除的内容返回 404 或 410。谷歌不会忘记已知地址,但 404/410 是减少抓取的有力信号。
  4. 清理 soft 404。空白或显示“未找到”的页面应返回真正的状态码。
  5. 保持站点地图最新。只放入您希望被编入索引、返回 200 的地址,并使 lastmod 值与实际更新保持一致。详情请参阅我们的XML 站点地图指南。
  6. 缩短重定向链,并让内部链接直接指向最终地址。
  7. 提升页面加载和服务器速度。服务器越快,抓取能力上限就越高。缓存和托管质量是关键因素。
  8. 通过内部链接突出重要页面。离首页和经常被抓取的页面较近的页面更容易被发现。我们的内部链接策略文章对此有详细介绍。
  9. 监控服务器健康状况。过载、5xx 和 429 响应会导致 Googlebot 放慢速度。

示例:管理带筛选功能的分类页

抓取预算问题最典型的来源是筛选导航。如果在一个鞋类分类中,颜色、尺码、品牌和排序选项的每一种组合都生成独立地址,那么一个包含一百件商品的列表就可能变成数千个可抓取的地址。 做决定时请问自己这个问题:人们是否真的在搜索这种筛选组合?

  • 是(例如“黑色运动鞋”):将该页面发展为一个有独立标题、描述和内容的目标页面,用内部链接加以支持,并保持可抓取。
  • 否(例如“42 码 + 按价格升序”):通过 robots.txt 限制抓取,或防止这些地址通过页面内链接被大量生成;并通过 canonical 指向原始分类。
  • 排序和会话参数永远不应进入索引;它们都应汇集到同一个地址。

注意:被 robots.txt 屏蔽的地址上的 canonical 标签,谷歌是看不到的。因此,对于同一地址,不要既依赖屏蔽又依赖 canonical;请有意识地选择其中一种。

常见的误解

普遍的看法事实
“noindex 可以节省抓取预算。”不能。Googlebot 仍会请求带 noindex 的页面,只是不将其编入索引。要减少抓取请使用 robots.txt,要从索引中移除请使用 noindex;两者的区别必须清楚。
“被抓取得越多,排名就越好。”抓取量不是排名信号。
“我可以在 Search Console 中提高抓取速度。”谷歌已经移除了旧的抓取速率限制工具;速度由系统自动决定。
“每个网站都有预算问题。”对大多数网站而言这并不适用;只有非常大或变化非常快的网站才会明显感受到。
“频繁提交站点地图可以增加抓取。”站点地图有助于发现,但并不能强制抓取。重要的是站点地图准确且保持最新。

以上所有步骤都是技术审核的组成部分;如需一个总体的检查顺序,请使用我们的技术 SEO 检查清单。 JavaScript 网站的抓取和渲染还需要额外时间,因此也可以参阅我们的JavaScript SEO 基础文章。 谷歌的官方指南位于大型网站的抓取预算管理页面。

常见问题

我怎样才能知道我的抓取预算?

没有一个固定的数字。Search Console 中的“抓取统计”报告会显示每日请求次数;而服务器日志则能按地址提供详细信息。

对于我的小网站,抓取预算重要吗?

通常不重要。对于几千页以内的网站,重点应放在内容质量、内部链接和基本的技术健康上。

被 robots.txt 屏蔽的页面会从索引中移除吗?

不会。Robots.txt 会阻止抓取,但如果该地址有来自外部的链接,它仍可能保留在索引中。要从索引中移除,需要使用 noindex,而这要求页面可以被抓取。

加快服务器速度会增加预算吗?

当响应时间缩短时,谷歌在同样的时间内可以抓取更多页面,因此抓取能力上限有提升的可能;但这并不是保证的结果。

总结

抓取预算是大型网站必须管理的真实问题,而对小型网站来说,则通常是不需要为之费心的概念。请根据您网站的规模进行判断:如果网站很大,请监控抓取统计和日志,并减少不必要的地址; 如果网站较小,请把精力放在内容和内部链接上。无论哪种情况,快速的服务器、简洁的 URL 结构和最新的站点地图,都能让 Googlebot 的工作更加轻松。 如果想了解在坚实的技术基础之上还能做些什么来扩大可见度,您可以在我们的自然流量增长方法文章中查看全面的介绍。

您的关键词缺少点击吗?

HitBot 会生成真实会话:在您的目标关键词下搜索、找到您的网站并点击。结果会以展示和点击的形式累积在 Search Console 中。

其他文章