robots.txt 是放在网站根目录下的一个小型文本文件,用于告诉搜索引擎机器人哪些网址可以访问,哪些不应访问。一行错误的规则就可能阻止整个网站被抓取;而编写正确的文件则能将抓取资源引导到重要页面上。本指南将通过示例介绍 robots.txt 的作用、编写方法、Google 支持的指令,以及最常见的错误。
什么是 robots.txt?
robots.txt 是“机器人排除协议”(Robots Exclusion Protocol)标准所使用的文件。它是纯文本(UTF-8)格式,必须位于域名的根目录下:https://www.ornek.com/robots.txt。放在子文件夹中的 robots.txt 不会被识别。每个子域名(例如 blog.ornek.com)以及每种协议/端口组合,都需要各自的文件。
该文件的用途是管理抓取流量:避免机器人把时间浪费在没有价值的区域上,例如后台管理面板、购物车、站内搜索结果或无穷无尽的筛选参数网址。它不是安全工具;任何人都可以读取这个文件,因此把您想隐藏的文件夹名称写在这里,只会暴露它。如需保护私密内容,请使用密码或身份验证。
搜索引擎如何使用 robots.txt?
机器人在抓取网站上的任何页面之前,会先请求 robots.txt 文件并读取其中的规则。规则按“用户代理”(user-agent)分组;机器人会选择最适合自己的那一组,并且只应用该组的规则。以下是几个重要细节:
- 如果找不到文件(返回 404 等 4xx 响应),Google 会将其理解为“没有限制”,并自由抓取网站。
- 如果服务器返回 5xx 错误,Google 会谨慎地减慢或暂停抓取;因此确保 robots.txt 地址能够正常响应非常重要。
- Google 只处理文件的前 500 KiB;超大文件会被截断。
- 路径规则区分大小写:
/Admin/与/admin/是不同的路径。 - Google 不会每次请求都重新下载该文件,而是将其缓存。您所做的修改不会立即生效,需要过一段时间才会显现。
基本语法与指令
Google 支持的指令仅限四个。下表概括了每个指令的作用。
| 指令 | 作用 | 示例 |
|---|---|---|
User-agent | 指定该规则适用的机器人;* 表示所有机器人。 | User-agent: Googlebot |
Disallow | 禁止抓取指定路径。 | Disallow: /sepet/ |
Allow | 在被禁止的文件夹内,允许访问特定路径。 | Allow: /sepet/yardim.html |
Sitemap | 声明站点地图文件的完整地址;与分组无关。 | Sitemap: https://www.ornek.com/sitemap.xml |
可以使用两个通配符:*(任意字符序列)和 $(网址结尾)。例如,Disallow: /*.pdf$ 会匹配所有以 .pdf 结尾的路径;Disallow: /*?sirala= 则涵盖带有 “sirala” 参数的网址。如果某个网址同时符合 Allow 和 Disallow 规则,Google 会应用更具体(更长)的那条规则。
不受支持的指令:Google 会忽略 Crawl-delay(其他一些搜索引擎可能会读取它)。自 2019 年起,robots.txt 中的 Noindex 行也已不再有效。若要从索引中移除页面,需要在页面上添加 noindex 元标签或 HTTP 响应头。
示例 robots.txt 文件
对于企业网站或小型电商网站,一个合理的入门模板可以如下所示:
User-agent: *
Disallow: /yonetim/
Disallow: /sepet/
Disallow: /odeme/
Disallow: /arama/
Disallow: /*?sirala=
Disallow: /*?oturum=
Sitemap: https://www.ornek.com/sitemap.xml
该文件会让所有机器人不抓取后台管理、购物车、结账以及站内搜索页面,也不抓取带有排序和会话参数的网址;其余内容均允许抓取。在 WordPress 网站中,常见的规则组合是 Disallow: /wp-admin/ 与 Allow: /wp-admin/admin-ajax.php。要判断自己网站中哪些路径没有价值,请先查看 Search Console 中的抓取统计数据和服务器日志;直接照搬现成模板,通常会屏蔽比必要更多的内容。
为不同机器人设置单独规则
您可以在文件中定义多个分组。每个分组以一行或多行 User-agent 开头,后面跟随规则。机器人只会选择最适合它的一个分组;它不会额外套用通用分组(*)中的规则。因此,当您为某个特定机器人编写分组时,需要把共用的规则也重复写入该分组。
User-agent: *
Disallow: /yonetim/
Disallow: /arama/
User-agent: Googlebot-Image
Disallow: /ozel-gorseller/
Disallow: /yonetim/
Sitemap: https://www.ornek.com/sitemap.xml
在上面的示例中,Googlebot-Image 只应用它自己的分组,因此 /yonetim/ 规则也出现在该分组中。在分组之间留出空行可以提高可读性。您可以在行首使用 # 添加注释,这些行会被忽略。请不要让规则变得过于繁杂:长期无人维护、年复一年不断膨胀的 robots.txt,会变成一个没人知道某条规则为何存在的风险来源。最好为每条规则在旁边用简短的注释说明其原因。
禁止抓取不等于从索引中移除
这是最常被混淆的一点。robots.txt 只限制抓取。如果某个被屏蔽的网址从其他网站或内部链接获得了链接,Google 仍可能在从未看到内容的情况下将该网址编入索引;在搜索结果中,它只会以网址的形式出现,没有说明文字。更糟糕的是,如果您同时用 robots.txt 屏蔽页面并添加 noindex,由于 Google 无法访问该页面,它将永远看不到 noindex。
| 您的目标 | 正确做法 |
|---|---|
| 不在无价值的网址上浪费抓取预算 | 使用 robots.txt 的 Disallow |
| 页面不出现在搜索结果中 | 保持页面可抓取,并添加 noindex 标签 |
| 内容对所有人保密 | 密码/身份验证(robots.txt 不提供安全保障) |
| 合并重复网址的信号 | 301 重定向或 canonical(请参阅我们的canonical 指南) |
小型网站还是大型网站?对于只有几百个页面的网站,robots.txt 对抓取效率的影响有限;其真正的价值在于排除不相关的区域并声明站点地图。而对于拥有数十万个网址的筛选式电商或分类信息网站,去除无用的网址组合则确实会带来明显的差异。
最常见的错误
- 屏蔽整个网站。如果从开发环境迁移到正式环境时带过来了
Disallow: /这一行,网站将无法被抓取。每次发布新版本时,请务必检查 robots.txt。 - 屏蔽 CSS 和 JavaScript 文件夹。Google 在渲染页面和评估移动端适配性时需要这些文件。如果被屏蔽,页面可能显示不完整。
- 屏蔽站点地图中的网址。一边说“请将此页面编入索引”,另一边又说“不要进入”,这是自相矛盾的;Search Console 会以警告的形式提示。
- 在 robots.txt 中写入 noindex。如上所述,它已经不再生效。
- 放错位置。如果文件不在根目录,或文件名是
Robots.TXT之类的其他写法,规则将不会生效。 - 路径写得过于宽泛。
Disallow: /urun不仅会匹配 “urun” 文件夹,还会匹配所有以 “/urun” 开头的网址,例如/urunler/和/urun-detay.html。如果您指的是文件夹,请在结尾加上斜杠。 - 先禁止抓取,再期待 301 生效。如果您屏蔽了已经重定向的旧网址,机器人将无法看到重定向。
上线前的测试
在修改文件之前,请先备份当前版本。然后按照以下步骤操作:
- 在浏览器中打开文件(
/robots.txt),确认它以纯文本形式返回,且状态码为 200。 - 在 Search Console 中打开设置 → robots.txt 报告;它会显示 Google 最近下载的版本、语法错误和警告。
- 对几个重要页面使用网址检查工具;如果看到“已被 robots.txt 屏蔽”的提示,请检查相应规则。
- 上线后的一周内,查看页面报告中“已被 robots.txt 屏蔽”类别的数量是否出现意外增长。如需诊断一般的索引问题,我们的Google 索引问题指南会对您有所帮助。
官方文档请参阅 Google Search Central 的 robots.txt 指南。robots.txt 只是整体健康检查中的一项;所有检查项目请参考我们的技术 SEO 检查清单。
常见问题
robots.txt 是必需的吗?
不是。如果没有该文件,机器人会自由抓取网站。但如果您有想要屏蔽的区域,或希望声明站点地图的地址,那么创建它会很有帮助。
我修改 robots.txt 后多久生效?
Google 会缓存该文件,通常最迟一天内更新;因此生效时间可能在几小时到一天之间。在紧急情况下,可以通过 Search Console 的 robots.txt 报告请求重新抓取。
我可以用 robots.txt 屏蔽 AI 机器人吗?
对于遵守规则的机器人可以。每个机器人都有自己的用户代理名称,可以单独编写分组。但 robots.txt 只是一种请求,并不具有强制力;不遵守规则的机器人不会因此停止。
我已经屏蔽了某个页面,为什么它仍然出现在 Google 中?
因为 Disallow 并不是从索引中移除的指令。该网址如果从其他地方获得了链接,仍可能以无内容的形式被列出。解决方法:取消屏蔽,在页面上添加 noindex;或者彻底删除该页面。
总结
robots.txt 是一个小文件,但影响很大。基本原则很简单:只屏蔽真正没有价值的区域,不要阻止 CSS/JS 文件,添加站点地图地址,并且不要把它当作从索引中移除页面的工具。每次发布后,在 Search Console 中验证该文件,并确认重要页面可以被抓取,就能避免大多数问题。接下来,您可以阅读我们的XML 站点地图指南,准备您的站点地图文件。