简答:封 GPTBot,同时明确放行 OAI-SearchBot 和 ChatGPT-User。OpenAI 在文档里把它们列为职责不同的代理:GPTBot 抓取可能用于训练 OpenAI 模型的内容,OAI-SearchBot 构建在 ChatGPT 搜索功能里展示网站的索引,ChatGPT-User 则是因为有人提出要求才去抓取某个页面。只封 GPTBot,不会让你从 ChatGPT 的搜索结果里消失;用一条规则把三个全封掉,才会。

下面给出把这两个决定分开的 robots.txt、它在各个建站平台上到底放在哪里、哪些代理是文件拦不住的,以及怎么证明服务器的实际行为和文件写的一致。

为什么用一条笼统的规则封 GPTBot 代价最高

多数封 AI 爬虫的站点,做的其实是一个关于训练数据的决定。这个立场站得住,封 GPTBot 也是表达它的合理方式。问题出在大家实际写下的规则上:冲着「OpenAI」写一条通配、从网上抄一份「AI 机器人名单」,或者在 CDN 里点一下「拦截 AI 爬虫」的开关,往往连 OAI-SearchBot 也一并拦掉。在我们整理的爬虫对照表里,它正是被我们标为「最常被误封」的那一个:本想拒绝训练,结果把搜索也拒了。

这个代价从来不以报错的形式出现。没有任何页面报服务器错误,分析工具里一切照旧,也没人收到告警。只是当买家在 ChatGPT 里问到一个你的页面本可以回答的问题时,你不再是选项之一。所以这个决定必须按代理逐条写,并且把理由写在每条规则旁边。

一条笼统的规则抄来的「AI 机器人」名单或 CDN 开关User-agent: GPTBotUser-agent: OAI-SearchBotUser-agent: ChatGPT-User → Disallow: /GPTBot被封OAI-SearchBot被封ChatGPT-User被封退出 ChatGPT 搜索,没有任何报错逐个代理写规则每个代理一组,理由写在注释里GPTBot → Disallow: /OAI-SearchBot → Allow: /ChatGPT-User → Allow: /GPTBot拒绝训练OAI-SearchBot进入搜索索引ChatGPT-User用户请求照常拒绝了训练,仍有资格出现在回答里
图 1 同一个意图(拒绝训练)的两种写法。笼统的规则顺带把站点移出了 ChatGPT 搜索,而且不会有任何东西告诉你。来源:OpenAI 爬虫文档,核对于 2026-09-09。

这里的不对称值得说透。封 GPTBot,对 ChatGPT 今天给出的回答没有任何影响,它表达的是对未来训练用途的态度;封 OAI-SearchBot,改变的是 ChatGPT 搜索今天能展示什么。一条分不清这两者的规则,等于拿一笔真实的、眼下的损失,去换一个象征性的表态。

OpenAI 的四个代理,以及封掉每一个的代价

代理它做什么封掉它会失去什么
GPTBot抓取可能用于训练 OpenAI 生成式基础模型的内容。不影响今天的回答,是关于训练用途的决定。
OAI-SearchBot构建在 ChatGPT 搜索功能中展示网站的索引。从 ChatGPT 搜索结果中消失。
ChatGPT-User因为 ChatGPT 或自定义 GPT 里有人要求而抓取页面。明确让 ChatGPT 去读你页面的用户,什么也拿不到。
OAI-AdsBot检查作为 ChatGPT 广告提交的页面是否安全,只访问被提交的页面。只有在 ChatGPT 投广告时才相关。

一手来源是 OpenAI 的爬虫文档。我们最近一次核对是 2026-09-09,这类厂商文档会变,引用其中任何一行之前请重新读一遍。其他厂商也有同样的分工,所以下面这份文件把「训练」和「检索」当成两组来写,而不是一张笼统的「AI 机器人」名单。所有代理及其来源,见我们的 AI 爬虫清单。

其他厂商也是同样的分工

OpenAI 在这件事上并不特殊,这也正是「按角色写文件」行得通的原因。Anthropic 把可能用于训练的 ClaudeBot,和负责搜索与用户请求的 Claude-SearchBot、Claude-User 分开。Perplexity 的文档说明,PerplexityBot 为回答建立索引,不用于为基础模型抓取内容。Apple 用 Applebot 做搜索,另给一个只管训练退出的 Applebot-Extended。唯一捆绑在一起的是 Google:Google-Extended 同时管 Gemini 的训练和 grounding,没有办法拒绝其中一个而保留另一个。所以对 Google,你要在「拒绝训练」和「留在 grounded 回答里」之间二选一,这和 OpenAI 那边可以两全的处境完全不同。

一份把训练和检索分开的 robots.txt

# 训练语料:不提供。
# 理由:我们对内容用于模型训练的立场。
# 负责人:网站组。修改前先重读各厂商文档。
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: CCBot
Disallow: /

# 搜索与用户触发的代理:放行。
# 封掉它们会让我们从回答里消失,那不是本意。
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Applebot
Allow: /

关于这份文件的写法,有四点说明:

  • 每个代理名都有运营方的文档依据。没核实过的名字不要加。编一个 User-Agent 比留空更糟,因为维护文件的人会以为某条规则在起作用,而实际上没有任何程序遵守它。比如 xAI 没有公开 Grok 的爬虫 User-Agent,那就没有可以按名字写的规则。
  • CCBot 要自己权衡。Common Crawl 把它的数据仓库描述为对所有人开放,并没有点名 AI 使用者,所以下游被拿去训练只能算「很可能」,不是厂商确认的事实。
  • Applebot-Extended 不是爬虫。Apple 的文档说明它只是训练用途的退出开关,禁止它的页面仍然可以出现在 Apple 的搜索结果里,所以 Applebot 本身保持放行。
  • 故意没写 Google-Extended。它把 Gemini 的训练和 grounding 绑在一起管,封掉它也会让你从 grounded 的 Gemini 回答里消失。这是另一个决定,详见 Gemini 优化与 Google-Extended。

注释比看起来重要,它是写给未来维护者的说明书。一年后打开这个文件的人,不会记得哪一行是有意为之,而一条没有解释的 Disallow 往往会被一直复制下去。覆盖所有厂商、注释更完整的版本,见 一份每行都说得清理由的 AI 爬虫 robots.txt。

在各个建站平台上,去哪里封 GPTBot

自己搭的站,robots.txt 就是 Web 根目录下的一个文件。托管平台上它是别的东西,而且各有各的坑:

平台规则写在哪里容易出错的地方
Shopify已发布主题里的 robots.txt.liquid 模板:遍历 Liquid 的 robots 对象,再追加自己的分组整段替换而不是追加,会丢掉 Shopify 持续更新的默认规则;未发布主题里的模板永远不会生效。
WordPress由 do_robots() 生成的虚拟文件,用 robots_txt 过滤器修改;或者在 Web 根目录放一个真实文件在标准的 nginx 或 Apache 配置下真实文件优先,于是插件里的修改可能悄悄失效。
WebflowSite settings → SEO → Indexing,带有按机器人类别(含 AI 爬虫)生成规则的开关开关的名字不等于规则本身;webflow.io 预览地址可能返回另一份「全部封锁」的文件。
HubSpotSettings → Content → Pages → SEO and Crawlers,按已连接的域名分别设置一条通配的 disallow 会连 HubSpotContentSearchBot 一起拦掉,悄悄弄坏站内搜索。

两个习惯能避开其中大部分坑。第一,永远在正式的自定义域名上修改,改完直接打开那个域名下的 /robots.txt,看实际返回的是什么。第二,平台替你生成规则时,要逐行读生成出来的结果,而不是相信一个叫「AI 机器人」的开关,因为一个类别里可能同时装着训练、搜索和用户触发三种代理。Shopify 的官方说明见 robots.txt.liquid 文档。

robots.txt 拦不住的那几个代理

OpenAI、Anthropic 和 Perplexity 都说明过:用户触发的代理未必像爬虫那样遵守 robots.txt,因为请求来自真人。这包括 ChatGPT-User、Claude-User 和 Perplexity-User;Meta 对 meta-externalfetcher 也有同样的说明。所以要把 robots.txt 当作对爬虫的意向声明,而不是访问控制。

爬虫抓取前先读 robots.txt代理GPTBot、OAI-SearchBotClaudeBot、Claude-SearchBotPerplexityBot、ApplebotCCBot、meta-externalagent真正能管住它们的是robots.txt 里每个代理一组,再用访问日志确认用户触发的代理有真人发起请求,可能不遵守 robots.txt代理ChatGPT-UserClaude-UserPerplexity-Usermeta-externalfetcher真正能管住它们的是CDN 或防火墙上的边缘规则,按官方公布的 IP 列表匹配
图 2 robots.txt 管的是爬虫。按运营方自己的文档,用户触发的代理可能不遵守它,所以要拦住它们,得在边缘规则层面决定。来源:OpenAI、Anthropic、Perplexity、Meta 的爬虫文档,核对于 2026-09-09。

如果确实要拦住其中某个代理,那是 CDN 或防火墙层面的边缘规则决定,而且它拦掉的是一个真人发出的请求。真要写边缘规则,别只匹配 User-Agent 这个请求头,任何客户端都能伪造它。OpenAI 公开了 GPTBot、OAI-SearchBot 和 ChatGPT-User 的地址列表,可以据此对真实代理写规则,也可以拿它去核对访问日志。

验证 GPTBot 的封锁:用每个代理的身份取一次,而不是读一遍文件

读 robots.txt,只能知道你的本意;用每个代理的身份请求一次,才知道服务器实际怎么做。CDN 规则或机器人管理产品对某个代理返回 403,实际上就是封锁,而文件会一直写着 Allow。

# 先用类浏览器 UA 做对照,免得把「站点挂了」误判成「被封了」
curl -s -o /dev/null -w "browser  %{http_code}\n" -A "Mozilla" https://example.com/pricing/

# 再逐个用 OpenAI 的代理名请求:看状态码和拿回来的字节数
for ua in GPTBot OAI-SearchBot ChatGPT-User; do
  printf "%-14s" "$ua"
  curl -s -A "$ua" -w " %{http_code}\n" https://example.com/pricing/ | wc -c
done

看结果时按顺序守住三条:

  1. 浏览器对照组要和代理一起跑。没有对照,单纯宕机的站点和封锁 AI 代理的站点看起来一模一样。
  2. OAI-SearchBot 或 ChatGPT-User 拿到 403,就是真问题。说明站点前面有东西覆盖了文件的意图。
  3. 返回 200 但几乎没有字节,算失败,不算通过。多数 AI 爬虫不执行 JavaScript,只在客户端渲染的页面对它们就是空壳。修法见 JavaScript 渲染与 AI 爬虫。
用每个代理的身份请求页面浏览器对照失败?普通请求拿不到 200是站点宕机或出错先修这个,此时代理的结果没有意义否代理拿到 403?而浏览器拿到 200是边缘规则覆盖了 robots.txt去查 CDN 与机器人管理设置否200 但几乎没有字节?响应里找不到正文是空壳:内容依赖 JavaScript把关键内容放进服务端 HTML否200 且正文完整你的关键句子就在里面是这个代理、这个 URL 通过在每个重要模板上各测一次
图 3 本节探测结果的读法,按检查应当进行的顺序排列。来源:本文介绍的测试方法。

这个测试证明的是服务器返回了什么,证明不了 GPTBot 是否遵守了你的 Disallow;后者只能靠访问日志,对照 OpenAI 公开的地址列表,长期去看。一个自称 GPTBot、来源地址却不在 gptbot.json 里的请求,并不是 OpenAI 发出的,它遵不遵守规则说明不了任何问题;下结论之前,先把这类请求筛掉。不想自己写脚本的话,我们的 AI 可抓取性检查 会带着浏览器对照组跑同样的代理探测。

资料来源