简答:一份经得起追问的 AI 爬虫 robots.txt,要逐个点名代理;按代理的角色(训练语料、搜索索引、用户触发抓取)而不是按厂商决定放不放;在自己写的每个分组里重复私有路径;每条规则旁写理由,文件顶部标核对日期。写完还要以各个代理的身份真的去请求页面,因为 CDN 或防火墙可能把文件里放行的代理挡在门外。下面依次给出:带注释的完整文件、爬虫如何决定哪几行规则对它生效、四个常见建站平台在哪里改,以及一个一分钟就能跑完的测试。
文件本身不如围绕它的规矩重要。一条没有解释的规则,会在每次改版、迁移中被原样复制下去,因为没人敢删一行自己看不懂的东西;一份照着去年的代理名写的策略,看上去很新,做的却是谁也没拍过板的事。
先按角色分,再谈放不放
主流厂商刻意运行好几个代理,目的就是让站长可以把两件事分开决定:内容要不要拿去训练模型,以及网站要不要出现在 AI 的回答里。冲着整个厂商写一条规则,等于把这两个决定压成了一个。最典型的结局是:本来只想拒绝训练,同一次修改里却把自己从某个答案引擎里删掉了。最常被这样误伤的是 OAI-SearchBot——很多站点只是想挡住 GPTBot,结果连 ChatGPT 搜索的索引代理一起封了。
同样的四类,换成站长最关心的那一栏,即「封了会损失什么」:
| 角色 | 代理 | 封锁的代价 | robots.txt 管不管用 |
|---|---|---|---|
| 训练语料 | GPTBot(OpenAI)、ClaudeBot(Anthropic)、meta-externalagent(Meta)、CCBot(Common Crawl) | 不影响今天的回答,纯粹是关于训练用途的决定。 | 管用,这份文件主要就是为它们写的。 |
| 搜索与答案索引 | OAI-SearchBot、PerplexityBot、Claude-SearchBot、Applebot、meta-webindexer | 从对应引擎的搜索结果和回答中消失。 | 管用,也正因如此,误封在这里伤害最大。 |
| 用户触发抓取 | ChatGPT-User、Perplexity-User、Claude-User、meta-externalfetcher | 有人让助手去读你的页面时,什么也拿不到。 | 靠不住。各家都说明过,代表用户抓取时未必遵守。 |
| 使用控制(本身不抓取) | Google-Extended、Applebot-Extended | Google-Extended:从 grounded 的 Gemini 回答中消失,Google 搜索不受影响。Applebot-Extended:只涉及训练。 | 它只以 robots.txt 里的名字存在,没有任何爬虫用这个名字来抓。 |
每一行都出自厂商自己的文档,链接列在文末。带原文措辞的全表(含 OAI-AdsBot 这类只在投放广告时才相关的审核代理)见我们的 AI 爬虫清单。
四种立场,各自的代价
绝大多数站点最后都会落在下面四种立场之一。动手之前先把自己的立场写成一句话,它正好就是文件开头的那段注释。
| 立场 | 训练代理 | 搜索与用户代理 | Google-Extended | 你放弃了什么 |
|---|---|---|---|---|
| 全部开放 | 放行 | 放行 | 放行 | 对训练用途的任何发言权。 |
| 拒绝训练,留在回答里(下文这份文件) | 封锁 | 放行 | 放行,并在注释里记为一个决定 | 回答方面什么都不损失;但 Gemini 仍可依 Google-Extended 使用内容。 |
| 连 Gemini 一起拒绝训练 | 封锁 | 放行 | 封锁 | grounded 的 Gemini 回答。Google 搜索的收录与排名不受影响。 |
| 封锁全部 AI 代理 | 封锁 | 封锁 | 封锁 | ChatGPT 搜索、Perplexity、Claude、Meta AI 与 grounded 的 Gemini 回答,以及 Apple 的搜索界面。用户触发的抓取仍可能到来。 |
做选择之前,还有两处空白要知道。xAI 没有公开文档化的爬虫 User-Agent,所以无法按名字放行或封锁 Grok;我们也没能在微软公开的站长文档里核实到 Copilot 专属的爬虫。千万不要照着猜出来的名字写规则:针对一个没人遵守的名字写规则比留空更糟,因为你会以为自己已经放行或封锁了什么。
一份带注释的完整文件
这一版取的是第二种立场:拒绝训练用途,同时保留出现在搜索回答和用户请求里的资格。立场可以按你的情况改,结构和注释请留着。注释保持英文,是因为 robots.txt 原样对外提供,中英文站点共用同一份。
# AI crawler policy for example.com
# Checked against each vendor's documentation on 2026-09-09.
# Owner: web team. Re-check when a vendor changes its crawler docs.
# --- Training corpora: declined. Does not affect today's answers. ---
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
# --- Usage controls (not crawlers) ---
# Applebot-Extended: training only; Apple says search is unaffected.
User-agent: Applebot-Extended
Disallow: /
# Google-Extended also controls grounding in Gemini answers,
# so blocking it would remove us from those answers. Decision: allowed.
User-agent: Google-Extended
Allow: /
# --- Search and answer indexes: allowed. Blocking removes us from answers. ---
# Private paths are repeated here: a named group does not inherit from *.
User-agent: OAI-SearchBot
User-agent: PerplexityBot
User-agent: Claude-SearchBot
User-agent: Applebot
User-agent: meta-webindexer
Allow: /
Disallow: /admin/
Disallow: /cart/
# --- User-triggered fetchers: allowed. Several may ignore this file anyway. ---
User-agent: ChatGPT-User
User-agent: Perplexity-User
User-agent: Claude-User
User-agent: meta-externalfetcher
Allow: /
Disallow: /admin/
Disallow: /cart/
# --- Everyone else ---
User-agent: *
Disallow: /admin/
Disallow: /cart/
Sitemap: https://example.com/sitemap.xml
这份文件里有四处是刻意这样写的:
- 私有路径在每个具名分组里都重复了一遍。爬虫一旦找到点了自己名字的分组,就只遵守那一组,
*分组对它整体失效。假如/admin/和/cart/只写在*里,你放行的每个搜索代理也就一并被放进了这些路径。下一节会一步步演示这个过程。 - 好几个代理共用一个分组。连续的几行
User-agent与紧随其后的规则构成同一个分组,所以五个搜索代理用一个块就拿到了完全相同的待遇。也就不会出现改了这个、忘了那个的漂移。 - Google-Extended 是一个取舍,而不是免费的退出开关。Google 的文档写明,它同时管 Gemini 的训练,以及 Gemini Apps 和 Vertex AI 里回答的 grounding。封了它,你仍留在 Google 搜索里,却会从 grounded 的 Gemini 回答中消失。所以注释里记的是一个决定,而不是默认值。这个选择的细节见 Gemini 与 Google-Extended。
- 用户触发的那一组放行了,但并不指望它守规矩。OpenAI、Perplexity、Anthropic 和 Meta 都说明过,代表用户去抓取的代理未必像爬虫那样遵守 robots.txt。真要拦住它们,那是边缘节点或防火墙层面的决定,而且有实际代价,不是在 robots.txt 里加一行就能解决的。
如果你只想退出 OpenAI 的训练抓取、别的什么都不动,如何封锁 GPTBot 又不从答案里消失专门讲了这个更窄的情况。
注释本身就是策略的一部分
厂商文档会变:会有新代理出现,已有代理的说明也会被改写。所以文件头要写核对日期和负责人,每个规则块都要写理由。每次调整立场时复核一遍,某家厂商更新爬虫页面时也复核一遍。今天多写两行说明,接手的人就不用去猜哪几行动不得。
AI 爬虫 robots.txt 的匹配规则:爬虫到底读哪几行
多数出问题的 AI 爬虫 robots.txt,错的并不是「该封哪些代理」,而是对爬虫如何读文件的理解。爬虫不会执行看到的每一行,它只挑出一组规则,其余全部忽略。
挑选分两步,两步都是机械的:
- 先选分组。爬虫寻找
User-agent行与自己名字相符的分组,比较时不区分大小写。找到了,这个分组就是它的全部规则;如果有好几个分组都点了它的名,这些分组的规则会合并起来。只有在没有任何分组点它名字时,它才退回到User-agent: *;要是连*分组都没有,就等于全部放行。 - 再选规则。在选中的分组里,路径匹配最长的那条规则胜出,跟这几行写的先后顺序无关。对购物车地址来说,
Disallow: /cart/比Allow: /更具体,所以前者生效。如果一条 Allow 和一条 Disallow 匹配得一样长,Allow 胜出。
拿这两步去对照,改 AI 相关规则时最常见的几种翻车就很好理解了:
- 新增一个具名分组,悄悄放开了私有路径。有人为了「写得明确一点」,加了
User-agent: OAI-SearchBot和Allow: /,结果这个代理从此不再读写着私有路径的*分组。 - 空的 Disallow 恰恰是反义。
Disallow:后面什么都不写表示全部允许,Disallow: /才是全部禁止,两者只差一个字符。 - 代理名不分大小写,路径却分。
Disallow: /Admin/管不到/admin/。 - 规则顺序不起作用,所以调换顺序修不好冲突。如果新加的 Allow 不生效,去同一分组里找一条更长的 Disallow。
各建站平台在哪里改
自建站点的 robots.txt 就是网站根目录下的一个文件。常见的托管平台不是这样:文件是生成出来的,而且每家都有一套默认规则,会和上面讲的匹配机制相互作用。
| 平台 | 规则写在哪里 | 默认从什么开始 | 容易踩的坑 |
|---|---|---|---|
| Shopify | 已发布主题里的 robots.txt.liquid 模板,遍历 Liquid 的 robots 对象再追加规则 | 禁止 /admin、/cart、/checkout、/search、/policies/ 与带筛选参数的集合 URL | 整段替换会丢掉 Shopify 定期更新的默认规则;只有已发布的主题会生效。 |
| WordPress | 由 do_robots() 生成的虚拟文件,可以用 robots_txt 过滤器修改 | User-agent: *、Disallow: /wp-admin/、Allow: /wp-admin/admin-ajax.php,外加一行 Sitemap | 在标准的 nginx 或 Apache 配置下,根目录里的真实 robots.txt 会先被返回,覆盖掉虚拟的那份。 |
| Webflow | Site settings → SEO → Indexing,含针对 AI 爬虫类别的流量控制开关 | 由这些开关生成的规则;要去读,别假设默认就放行 AI 代理 | webflow.io 预览子域可能提供另一份「全部封锁」的文件,审计要在自定义域名上做。 |
| HubSpot | Settings → Content → Pages → SEO and Crawlers,按已连接的域名分别设置 | 含 hs-sites 的系统域名永久 no-index,写什么都没用 | 一条通配的 disallow 也会挡住 HubSpotContentSearchBot,悄悄弄坏站内搜索,除非单独给它开一个允许组。 |
在 Shopify 上,保留默认的那段循环,把 AI 分组追加在它后面。因为被你点名的代理只认你写的分组,所以要把默认规则里的私有路径抄进这个分组:
{% for group in robots.default_groups %}
{{- group.user_agent }}
{%- for rule in group.rules -%}
{{ rule }}
{%- endfor -%}
{%- if group.sitemap != blank -%}
{{ group.sitemap }}
{%- endif -%}
{% endfor %}
# AI search agents: allowed, with Shopify's private paths repeated
User-agent: OAI-SearchBot
User-agent: PerplexityBot
User-agent: Claude-SearchBot
Allow: /
Disallow: /admin
Disallow: /cart
Disallow: /checkout
Disallow: /search
Disallow: /policies/
# AI training agents: declined
User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /
在 WordPress 上,过滤器是往虚拟文件末尾追加内容,道理一样:具名分组要自带一行 /wp-admin/。动手之前先确认根目录里没有一个实体的 robots.txt,否则过滤器根本不会被执行。
// In a small plugin or the child theme's functions.php
add_filter( 'robots_txt', function ( $output, $public ) {
if ( ! $public ) {
return $output; // site is set to discourage indexing; leave it alone
}
$output .= "\nUser-agent: GPTBot\nUser-agent: ClaudeBot\nDisallow: /\n";
$output .= "\nUser-agent: OAI-SearchBot\nUser-agent: PerplexityBot\n"
. "Allow: /\nDisallow: /wp-admin/\nAllow: /wp-admin/admin-ajax.php\n";
return $output;
}, 10, 2 );
Webflow 和 HubSpot 只有一个设置框(Webflow 的细节来自其帮助中心):把注释版文件里的分组贴进去,再读一遍自定义域名实际返回的内容。用了 HubSpot 站内搜索的站点,收紧任何规则之前,先加上 User-agent: HubSpotContentSearchBot 和 Allow: /。
验证 AI 爬虫 robots.txt:实际请求,而不是读文件
读 robots.txt 只能知道你的本意,只有实际请求才知道真实行为。一个 AI 代理从发出请求到读到你的正文,中间有四个地方可能被拦下,而写在文件里的只有第一个。
挑一个重要页面,以每个代理的身份各请求一次,用普通浏览器的 User-Agent 做对照,最后再把线上域名实际提供的 robots.txt 取回来:
URL=https://example.com/pricing/
for ua in "Mozilla/5.0" GPTBot OAI-SearchBot ChatGPT-User \
PerplexityBot Perplexity-User ClaudeBot Claude-SearchBot Claude-User; do
printf "%-20s " "$ua"
curl -s -o /dev/null -w "%{http_code} %{size_download} bytes\n" -A "$ua" "$URL"
done
# And the file itself, exactly as your live domain serves it:
curl -s -w "\n-- %{http_code}\n" https://example.com/robots.txt
对照下表读输出:
| 你看到的 | 说明什么 | 去哪里修 |
|---|---|---|
| 浏览器那一行也失败了 | 站点宕了或网址写错了。没有这行对照,宕机和封锁看起来一模一样。 | 先修好网址或故障,再重跑。 |
| 放行了的代理拿到 403,浏览器拿到 200 | 不管 robots.txt 怎么写,边缘层已经把它挡住了。 | CDN、防火墙或机器人管理规则,而不是这个文件。 |
| 代理拿到 200,正文却比浏览器小得多 | 算失败,不算通过。多数 AI 爬虫不执行 JavaScript,靠脚本拼出来的页面到它们手里几乎是空的。 | 改成服务端渲染,见 JavaScript 渲染与 AI 爬虫。 |
| 每一行的状态码和大小都一致 | 这个页面在服务器这一侧没问题。 | 拿线上那份 robots.txt 对照你定下的立场逐行读。 |
有两点提醒。这个测试看的是服务器对每个代理返回了什么,看不出爬虫是否遵守你的文件,所以最后那条命令要把线上实际提供的文件打印出来。另外,「没取到」和「不存在」要分开:robots.txt 请求超时,说明不了文件存不存在。
另外,从自己电脑发出的 curl 请求终究不是真正的爬虫。边缘节点可能同时按网络来源和名字识别已知代理,所以结果对不上时,应当把它当作去查 CDN 规则和日志的线索,而不是最终结论。如果你希望这些探测连同浏览器对照组、空正文检查一起自动跑,InsightWonder 的 AI 可抓取性体检做的就是这件事。
资料来源
- OpenAI:爬虫总览(GPTBot、OAI-SearchBot、ChatGPT-User、OAI-AdsBot)
- Perplexity:爬虫说明(PerplexityBot、Perplexity-User)
- Anthropic:站长如何封锁爬虫(ClaudeBot、Claude-SearchBot、Claude-User)
- Google:常见爬虫列表(Google-Extended、Google-CloudVertexBot)
- Apple:关于 Applebot(Applebot、Applebot-Extended)
- Meta:网页爬虫(meta-externalagent、meta-webindexer、meta-externalfetcher)
- Common Crawl:CCBot
- Shopify:robots.txt.liquid、WordPress:do_robots()、Webflow:设置 robots.txt 规则、HubSpot:自定义 robots.txt