简答:AI 爬虫的 User-Agent 分五种职责,决定封锁代价的是职责,而不是背后是哪家公司。GPTBot、ClaudeBot 这类训练爬虫,封了对今天的回答没有任何影响;OAI-SearchBot、PerplexityBot、Claude-SearchBot 这类搜索代理,封掉的就是回答本身;ChatGPT-User 这类用户触发的抓取,封掉的是一个真人刚刚发出的请求;Google-Extended 这类使用控制压根不抓取,它决定的是已经抓到的内容能拿去做什么。
本文覆盖 OpenAI、Perplexity、Anthropic、Google、Apple、Meta 和 Common Crawl 官方文档里写明的十七个代理。每一行都在 2026 年 9 月 9 日对照厂商自己的页面核对过,原始页面统一列在文末「资料来源」。厂商没有公开代理名的,我们直接写明,不去猜一个——猜出来的名字最后会被人抄进 robots.txt,然后什么也不管。
AI 爬虫 User-Agent 的五种职责
先看这张表,再看后面那张长表。robots.txt 上的错误几乎都来自同一个误会:把一家厂商当成一个决定,而它其实是好几个。
| 职责 | 代理 | 封锁的代价 |
|---|---|---|
| 训练语料 | GPTBot、ClaudeBot、meta-externalagent、CCBot | 不影响今天的回答。拒绝内容被拿去训练,是一个站得住的立场。 |
| 搜索与答案索引 | OAI-SearchBot、PerplexityBot、Claude-SearchBot、Applebot、meta-webindexer、Google-CloudVertexBot | 从该引擎的搜索结果和回答里消失。 |
| 用户触发抓取 | ChatGPT-User、Perplexity-User、Claude-User、meta-externalfetcher | 真人发出的请求失败。这几个代理可能根本不遵守 robots.txt。 |
| 广告安全审核 | OAI-AdsBot | 只有在 ChatGPT 投广告时才相关。 |
| 使用控制(本身不抓取) | Google-Extended、Applebot-Extended | 管训练用途;Google 这一个还管 Gemini 的 grounding。文档明确说搜索收录不受影响。 |
风险主要集中在两行。OAI-SearchBot 构建的是 ChatGPT 搜索功能背后的索引,很多站点本想拒绝训练,误封的却正是它。Google-Extended 恰好相反:它看起来像爬虫,但封掉它会让你从 grounded 的 Gemini 回答里消失,而 Google 搜索的收录和排名明确不受影响。这是各家厂商里分离得最干净的一处,也最容易在不知道自己关掉了什么的情况下误用。
换个角度,按厂商把同样的信息排开,就能看清「封 OpenAI」「放 Anthropic」这种说法为什么本身就是错的决策单位:多数厂商同时占着好几列,而每一列的后果完全不同。
空格和名字一样值得看。Perplexity 没有训练爬虫,它的文档明确说 PerplexityBot 不用于为基础模型抓取内容;Google 和 Apple 的训练开关是一个「名字」而不是一只单独的爬虫;而大家最常问的两个引擎——Grok 和 Copilot——在这张表里一个有名有姓的代理都没有。
逐个代理看:每个 AI 爬虫 User-Agent 在做什么
「它做什么」一栏转述的是厂商自己的说明;最后一栏才是站长真正要看的。
| 代理 | 厂商 | 它做什么 | 封掉它会怎样 |
|---|---|---|---|
GPTBot | OpenAI | 抓取可能用于训练 OpenAI 生成式基础模型的内容。 | 不影响今天的回答,也不会把你从 ChatGPT 搜索结果里移除。 |
OAI-SearchBot | OpenAI | 构建 ChatGPT 搜索功能里用来展示网站的索引。 | 从 ChatGPT 搜索结果中消失。 |
ChatGPT-User | OpenAI | 因为 ChatGPT 或自定义 GPT 里有人要求而抓取页面。 | 明确让 ChatGPT 去读你页面的用户,什么也拿不到。 |
OAI-AdsBot | OpenAI | 审核作为 ChatGPT 广告提交的页面,只访问被明确提交的页面。 | 只和 ChatGPT 广告主有关。 |
PerplexityBot | Perplexity | 为 Perplexity 回答里的展示和链接建立索引;文档说明它不用于为基础模型抓取。 | 从 Perplexity 的回答里消失。它几乎每条回答都给来源,所以封锁会很快反映在引用数据上。 |
Perplexity-User | Perplexity | 因为用户的问题需要而访问页面,并在回答里链接它。 | 用户请求的访问失败。文档说明它通常不遵守 robots.txt。 |
ClaudeBot | Anthropic | 收集可能用于训练 Anthropic 模型的网页内容。 | 不影响今天的回答,是一个关于训练用途的决定。 |
Claude-SearchBot | Anthropic | 为提升 Claude 用户看到的搜索结果的相关性和准确性而抓取。 | 你的页面不再进入 Claude 的搜索结果。 |
Claude-User | Anthropic | 因为 Claude 用户的问题需要而访问网站。 | 用户请求的那次访问失败。 |
Google-Extended | 不是爬虫。决定已抓取的内容能否用于训练 Gemini 模型,以及在 Gemini Apps 和 Vertex AI 里为回答做 grounding。 | 从 grounded 的 Gemini 回答中消失,Google 搜索不受影响。 | |
Google-CloudVertexBot | 在站点所有者自己发起时抓取站点,用于构建 Vertex AI Agent。 | 只在你用自己的内容构建 Vertex AI Agent 时相关。 | |
Applebot | Apple | 为 Spotlight、Siri、Safari 等 Apple 体验里的搜索提供支撑。 | 从 Apple 的搜索界面中消失。 |
Applebot-Extended | Apple | 不是爬虫。禁止它表示内容不用于训练 Apple 的基础模型。 | 对搜索没有影响,禁止它的页面仍可出现在结果里。 |
meta-externalagent | Meta | 为训练基础模型或直接索引内容等用途抓取网页。 | 内容不再进入 Meta 的模型训练和直接索引。 |
meta-webindexer | Meta | 分析内容,用来提升 Meta AI 搜索结果的质量。 | 从 Meta AI 搜索结果中消失。 |
meta-externalfetcher | Meta | 在 Agent 类功能里按用户请求抓取链接。 | 用户请求的抓取失败;文档说明它可能绕过 robots.txt。 |
CCBot | Common Crawl | 构建一个开放、任何人都能获取的网页抓取数据仓库。 | 你的页面离开一个被广泛再分发的开放数据集。下游被拿去训练「很可能」,但没有厂商确认。 |
有一行值得多看一眼:meta-externalagent 被归在训练类,但 Meta 自己的描述里还提到「直接索引内容」,所以封它比封 GPTBot、ClaudeBot 的范围略宽。如果你在意 Meta AI 搜索,无论怎么决定,都要让 meta-webindexer 保持放行。
遇到陌生代理:三个问题定性
服务器日志里随时会冒出新名字,不是每一个都能在这类清单里查到。写规则之前,先拿上面那张表回答的三个问题过一遍,依据只认厂商自己的爬虫文档,不认论坛帖子,也不认第三方整理的机器人目录。
顺序有讲究。第一问「它自己抓不抓」,因为 Google-Extended 这类使用控制根本不会出现在你的日志里:抓取由 Googlebot 或 Applebot 完成,这个名字只决定内容能拿去做什么。第二问「是不是真人触发」,因为这一类正是 robots.txt 最管不住的地方,OpenAI、Perplexity、Anthropic 和 Meta 都在文档里说明它们的用户触发代理可能不遵守。问完这两个,才轮到「它是否为索引服务」:如果是,封锁就等于主动退出这个引擎的回答。
把这套判断从单个代理放大到整家厂商,两种写规则的方式差别如下:
| 写法 | 文件里写的是 | 实际发生的是 | 什么时候合适 |
|---|---|---|---|
| 按厂商一刀切 | 封掉 OpenAI 的所有代理 | 一次改动里同时拒绝训练、退出 ChatGPT 搜索、拒绝用户请求 | 只有你确实想彻底离开这个产品时 |
| 按职责分开写 | 封 GPTBot,放行 OAI-SearchBot,不去动 ChatGPT-User | 拒绝训练,同时保留出现在 ChatGPT 搜索回答里的资格 | 想被 AI 推荐的企业,通常就是这个立场 |
| 按猜出来的名字写 | 给一个没有任何厂商文档的代理写规则 | 什么也不会发生,没有爬虫会去认一个它根本不发送的名字 | 永远不合适,只会制造虚假的安心 |
如果你的立场是「不给训练,但要留在回答里」,文件里就要把训练代理和搜索代理分开写:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Applebot-Extended
Disallow: /
User-agent: OAI-SearchBot
User-agent: PerplexityBot
User-agent: Claude-SearchBot
Allow: /
这里故意没写 Google-Extended。禁止它不只是训练层面的决定,还会让你从 grounded 的 Gemini 回答里消失,所以值得单独想清楚再动,Gemini 与 Google-Extended 专门讲了这笔取舍。带注释的完整文件(包括为什么私有路径要在每个具名分组里重复一遍)见给 AI 爬虫的 robots.txt;只想处理 OpenAI 的,可以看怎么封 GPTBot 又不从 ChatGPT 消失。
一家厂商、三个 AI 爬虫 User-Agent:以 OpenAI 为例
要说明「职责比厂商名更重要」,OpenAI 是最清楚的例子。一个普通网站会见到它的三个代理,每个都有自己的触发方式、自己的内容去向,以及各自单独公布的一份 IP 段列表。
从左往右读这张图。GPTBot 和 OAI-SearchBot 都是 OpenAI 自己发起的例行抓取,在日志里长得差不多,喂的却是两样完全不同的东西:一个是可能用于训练的语料,一个是 ChatGPT 搜索功能背后的索引。ChatGPT-User 只在对话里有人问到你的页面时才会来,所以封掉它,失败的是一个真人刚刚发出的请求,和训练没有任何关系。
分开的 IP 列表让这些代理变得可以核实。任何程序都能在请求头里写上「GPTBot」,单看 User-Agent 证明不了什么;拿日志里的来源地址去对照它所声称的那个代理的列表,说法才变成证据。OpenAI 为它的每个代理都以 JSON 文件公布了这样一份列表。
一张 AI 爬虫 User-Agent 清单回答不了的事
- 你的服务器到底有没有照规则办。robots.txt 只是意图,真正取一次才是证据。文件写着放行,前面的 CDN 或防火墙却对这些代理返回 403,那实际上就是封锁,而文件会一直说相反的话。
- 代理会不会读 robots.txt。ChatGPT-User、Perplexity-User、Claude-User、meta-externalfetcher 这类用户触发的代理,因为请求来自真人,可能不遵守它。把 robots.txt 当成对爬虫的表态,而不是访问控制。
- 取到之后页面能不能读。多数 AI 爬虫不执行 JavaScript,返回 200 但正文是个空壳,应该算失败而不是通过。常见框架怎么处理,见 JavaScript 渲染与 AI 爬虫。
- 有没有没公开的代理。xAI 没有公开文档化的爬虫 User-Agent,所以没法按名字放行或封锁 Grok;我们也没能在微软公开的站长文档里核实到 Copilot 专属的爬虫。
最快的检查办法,是分别用各个代理和普通浏览器的身份请求同一个关键页面,比对状态码和返回大小。浏览器那一次是对照组:没有它,单纯宕机的站点和封锁 AI 代理的站点看起来一模一样。
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "OAI-SearchBot" https://example.com/
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$BROWSER_UA" https://example.com/
「没抓到」和「不存在」要分开:robots.txt 请求超时,说明不了这个文件在不在。清单本身也一定要带日期——厂商文档会改,新代理也会出现,没有核对日期的爬虫表只是某个说不清的时刻的快照。持续维护的版本在 AI 爬虫清单里,改 robots.txt 之前先去看一眼;如果你希望有人替你逐个代理去取、并且自带浏览器对照组,InsightWonder 的 AI 可抓取性体检做的就是这件事。
资料来源
- OpenAI:爬虫总览(GPTBot、OAI-SearchBot、ChatGPT-User、OAI-AdsBot),IP 列表如 gptbot.json
- Perplexity:爬虫说明(PerplexityBot、Perplexity-User)
- Anthropic:站长如何封锁爬虫(ClaudeBot、Claude-SearchBot、Claude-User)
- Google:常见爬虫(Google-Extended、Google-CloudVertexBot)
- Apple:关于 Applebot(Applebot、Applebot-Extended)
- Meta:网页爬虫(meta-externalagent、meta-webindexer、meta-externalfetcher)
- Common Crawl:CCBot