简答:封 GPTBot,同时明确放行 OAI-SearchBot 和 ChatGPT-User。OpenAI 在文档里把它们列为职责不同的代理:GPTBot 抓取可能用于训练 OpenAI 模型的内容,OAI-SearchBot 构建在 ChatGPT 搜索功能里展示网站的索引,ChatGPT-User 则是因为有人提出要求才去抓取某个页面。只封 GPTBot,不会让你从 ChatGPT 的搜索结果里消失;用一条规则把三个全封掉,才会。
下面给出把这两个决定分开的 robots.txt、它在各个建站平台上到底放在哪里、哪些代理是文件拦不住的,以及怎么证明服务器的实际行为和文件写的一致。
为什么用一条笼统的规则封 GPTBot 代价最高
多数封 AI 爬虫的站点,做的其实是一个关于训练数据的决定。这个立场站得住,封 GPTBot 也是表达它的合理方式。问题出在大家实际写下的规则上:冲着「OpenAI」写一条通配、从网上抄一份「AI 机器人名单」,或者在 CDN 里点一下「拦截 AI 爬虫」的开关,往往连 OAI-SearchBot 也一并拦掉。在我们整理的爬虫对照表里,它正是被我们标为「最常被误封」的那一个:本想拒绝训练,结果把搜索也拒了。
这个代价从来不以报错的形式出现。没有任何页面报服务器错误,分析工具里一切照旧,也没人收到告警。只是当买家在 ChatGPT 里问到一个你的页面本可以回答的问题时,你不再是选项之一。所以这个决定必须按代理逐条写,并且把理由写在每条规则旁边。
这里的不对称值得说透。封 GPTBot,对 ChatGPT 今天给出的回答没有任何影响,它表达的是对未来训练用途的态度;封 OAI-SearchBot,改变的是 ChatGPT 搜索今天能展示什么。一条分不清这两者的规则,等于拿一笔真实的、眼下的损失,去换一个象征性的表态。
OpenAI 的四个代理,以及封掉每一个的代价
| 代理 | 它做什么 | 封掉它会失去什么 |
|---|---|---|
GPTBot | 抓取可能用于训练 OpenAI 生成式基础模型的内容。 | 不影响今天的回答,是关于训练用途的决定。 |
OAI-SearchBot | 构建在 ChatGPT 搜索功能中展示网站的索引。 | 从 ChatGPT 搜索结果中消失。 |
ChatGPT-User | 因为 ChatGPT 或自定义 GPT 里有人要求而抓取页面。 | 明确让 ChatGPT 去读你页面的用户,什么也拿不到。 |
OAI-AdsBot | 检查作为 ChatGPT 广告提交的页面是否安全,只访问被提交的页面。 | 只有在 ChatGPT 投广告时才相关。 |
一手来源是 OpenAI 的爬虫文档。我们最近一次核对是 2026-09-09,这类厂商文档会变,引用其中任何一行之前请重新读一遍。其他厂商也有同样的分工,所以下面这份文件把「训练」和「检索」当成两组来写,而不是一张笼统的「AI 机器人」名单。所有代理及其来源,见我们的 AI 爬虫清单。
其他厂商也是同样的分工
OpenAI 在这件事上并不特殊,这也正是「按角色写文件」行得通的原因。Anthropic 把可能用于训练的 ClaudeBot,和负责搜索与用户请求的 Claude-SearchBot、Claude-User 分开。Perplexity 的文档说明,PerplexityBot 为回答建立索引,不用于为基础模型抓取内容。Apple 用 Applebot 做搜索,另给一个只管训练退出的 Applebot-Extended。唯一捆绑在一起的是 Google:Google-Extended 同时管 Gemini 的训练和 grounding,没有办法拒绝其中一个而保留另一个。所以对 Google,你要在「拒绝训练」和「留在 grounded 回答里」之间二选一,这和 OpenAI 那边可以两全的处境完全不同。
一份把训练和检索分开的 robots.txt
# 训练语料:不提供。
# 理由:我们对内容用于模型训练的立场。
# 负责人:网站组。修改前先重读各厂商文档。
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: CCBot
Disallow: /
# 搜索与用户触发的代理:放行。
# 封掉它们会让我们从回答里消失,那不是本意。
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Applebot
Allow: /
关于这份文件的写法,有四点说明:
- 每个代理名都有运营方的文档依据。没核实过的名字不要加。编一个 User-Agent 比留空更糟,因为维护文件的人会以为某条规则在起作用,而实际上没有任何程序遵守它。比如 xAI 没有公开 Grok 的爬虫 User-Agent,那就没有可以按名字写的规则。
- CCBot 要自己权衡。Common Crawl 把它的数据仓库描述为对所有人开放,并没有点名 AI 使用者,所以下游被拿去训练只能算「很可能」,不是厂商确认的事实。
- Applebot-Extended 不是爬虫。Apple 的文档说明它只是训练用途的退出开关,禁止它的页面仍然可以出现在 Apple 的搜索结果里,所以 Applebot 本身保持放行。
- 故意没写 Google-Extended。它把 Gemini 的训练和 grounding 绑在一起管,封掉它也会让你从 grounded 的 Gemini 回答里消失。这是另一个决定,详见 Gemini 优化与 Google-Extended。
注释比看起来重要,它是写给未来维护者的说明书。一年后打开这个文件的人,不会记得哪一行是有意为之,而一条没有解释的 Disallow 往往会被一直复制下去。覆盖所有厂商、注释更完整的版本,见 一份每行都说得清理由的 AI 爬虫 robots.txt。
在各个建站平台上,去哪里封 GPTBot
自己搭的站,robots.txt 就是 Web 根目录下的一个文件。托管平台上它是别的东西,而且各有各的坑:
| 平台 | 规则写在哪里 | 容易出错的地方 |
|---|---|---|
| Shopify | 已发布主题里的 robots.txt.liquid 模板:遍历 Liquid 的 robots 对象,再追加自己的分组 | 整段替换而不是追加,会丢掉 Shopify 持续更新的默认规则;未发布主题里的模板永远不会生效。 |
| WordPress | 由 do_robots() 生成的虚拟文件,用 robots_txt 过滤器修改;或者在 Web 根目录放一个真实文件 | 在标准的 nginx 或 Apache 配置下真实文件优先,于是插件里的修改可能悄悄失效。 |
| Webflow | Site settings → SEO → Indexing,带有按机器人类别(含 AI 爬虫)生成规则的开关 | 开关的名字不等于规则本身;webflow.io 预览地址可能返回另一份「全部封锁」的文件。 |
| HubSpot | Settings → Content → Pages → SEO and Crawlers,按已连接的域名分别设置 | 一条通配的 disallow 会连 HubSpotContentSearchBot 一起拦掉,悄悄弄坏站内搜索。 |
两个习惯能避开其中大部分坑。第一,永远在正式的自定义域名上修改,改完直接打开那个域名下的 /robots.txt,看实际返回的是什么。第二,平台替你生成规则时,要逐行读生成出来的结果,而不是相信一个叫「AI 机器人」的开关,因为一个类别里可能同时装着训练、搜索和用户触发三种代理。Shopify 的官方说明见 robots.txt.liquid 文档。
robots.txt 拦不住的那几个代理
OpenAI、Anthropic 和 Perplexity 都说明过:用户触发的代理未必像爬虫那样遵守 robots.txt,因为请求来自真人。这包括 ChatGPT-User、Claude-User 和 Perplexity-User;Meta 对 meta-externalfetcher 也有同样的说明。所以要把 robots.txt 当作对爬虫的意向声明,而不是访问控制。
如果确实要拦住其中某个代理,那是 CDN 或防火墙层面的边缘规则决定,而且它拦掉的是一个真人发出的请求。真要写边缘规则,别只匹配 User-Agent 这个请求头,任何客户端都能伪造它。OpenAI 公开了 GPTBot、OAI-SearchBot 和 ChatGPT-User 的地址列表,可以据此对真实代理写规则,也可以拿它去核对访问日志。
验证 GPTBot 的封锁:用每个代理的身份取一次,而不是读一遍文件
读 robots.txt,只能知道你的本意;用每个代理的身份请求一次,才知道服务器实际怎么做。CDN 规则或机器人管理产品对某个代理返回 403,实际上就是封锁,而文件会一直写着 Allow。
# 先用类浏览器 UA 做对照,免得把「站点挂了」误判成「被封了」
curl -s -o /dev/null -w "browser %{http_code}\n" -A "Mozilla" https://example.com/pricing/
# 再逐个用 OpenAI 的代理名请求:看状态码和拿回来的字节数
for ua in GPTBot OAI-SearchBot ChatGPT-User; do
printf "%-14s" "$ua"
curl -s -A "$ua" -w " %{http_code}\n" https://example.com/pricing/ | wc -c
done
看结果时按顺序守住三条:
- 浏览器对照组要和代理一起跑。没有对照,单纯宕机的站点和封锁 AI 代理的站点看起来一模一样。
- OAI-SearchBot 或 ChatGPT-User 拿到 403,就是真问题。说明站点前面有东西覆盖了文件的意图。
- 返回 200 但几乎没有字节,算失败,不算通过。多数 AI 爬虫不执行 JavaScript,只在客户端渲染的页面对它们就是空壳。修法见 JavaScript 渲染与 AI 爬虫。
这个测试证明的是服务器返回了什么,证明不了 GPTBot 是否遵守了你的 Disallow;后者只能靠访问日志,对照 OpenAI 公开的地址列表,长期去看。一个自称 GPTBot、来源地址却不在 gptbot.json 里的请求,并不是 OpenAI 发出的,它遵不遵守规则说明不了任何问题;下结论之前,先把这类请求筛掉。不想自己写脚本的话,我们的 AI 可抓取性检查 会带着浏览器对照组跑同样的代理探测。