简答:一份经得起追问的 AI 爬虫 robots.txt,要逐个点名代理;按代理的角色(训练语料、搜索索引、用户触发抓取)而不是按厂商决定放不放;在自己写的每个分组里重复私有路径;每条规则旁写理由,文件顶部标核对日期。写完还要以各个代理的身份真的去请求页面,因为 CDN 或防火墙可能把文件里放行的代理挡在门外。下面依次给出:带注释的完整文件、爬虫如何决定哪几行规则对它生效、四个常见建站平台在哪里改,以及一个一分钟就能跑完的测试。

文件本身不如围绕它的规矩重要。一条没有解释的规则,会在每次改版、迁移中被原样复制下去,因为没人敢删一行自己看不懂的东西;一份照着去年的代理名写的策略,看上去很新,做的却是谁也没拍过板的事。

先按角色分,再谈放不放

主流厂商刻意运行好几个代理,目的就是让站长可以把两件事分开决定:内容要不要拿去训练模型,以及网站要不要出现在 AI 的回答里。冲着整个厂商写一条规则,等于把这两个决定压成了一个。最典型的结局是:本来只想拒绝训练,同一次修改里却把自己从某个答案引擎里删掉了。最常被这样误伤的是 OAI-SearchBot——很多站点只是想挡住 GPTBot,结果连 ChatGPT 搜索的索引代理一起封了。

训练语料为模型收集语料代理GPTBotClaudeBotmeta-externalagentCCBot封锁之后今天的回答不受影响ROBOTS.TXT可按名字封锁搜索索引决定你能否进回答代理OAI-SearchBotPerplexityBotClaude-SearchBotApplebotmeta-webindexer封锁之后从该引擎的回答里消失ROBOTS.TXT可按名字封锁用户触发有人让助手去读代理ChatGPT-UserPerplexity-UserClaude-Usermeta-externalfetcher封锁之后用户的这次请求什么也拿不到ROBOTS.TXT代表用户时可能不遵守使用控制是开关,不是爬虫代理Google-ExtendedApplebot-Extended封锁之后Google-Extended:退出 Gemini groundingROBOTS.TXT只是 robots.txt里的一个名字
图 1 有官方文档的四类 AI 代理、封锁各自的代价,以及 robots.txt 在哪一类上靠不住。来源:OpenAI、Perplexity、Anthropic、Google、Apple、Meta、Common Crawl 各自的爬虫文档,核对于 2026-09-09。

同样的四类,换成站长最关心的那一栏,即「封了会损失什么」:

角色代理封锁的代价robots.txt 管不管用
训练语料GPTBot(OpenAI)、ClaudeBot(Anthropic)、meta-externalagent(Meta)、CCBot(Common Crawl)不影响今天的回答,纯粹是关于训练用途的决定。管用,这份文件主要就是为它们写的。
搜索与答案索引OAI-SearchBot、PerplexityBot、Claude-SearchBot、Applebot、meta-webindexer从对应引擎的搜索结果和回答中消失。管用,也正因如此,误封在这里伤害最大。
用户触发抓取ChatGPT-User、Perplexity-User、Claude-User、meta-externalfetcher有人让助手去读你的页面时,什么也拿不到。靠不住。各家都说明过,代表用户抓取时未必遵守。
使用控制(本身不抓取)Google-Extended、Applebot-ExtendedGoogle-Extended:从 grounded 的 Gemini 回答中消失,Google 搜索不受影响。Applebot-Extended:只涉及训练。它只以 robots.txt 里的名字存在,没有任何爬虫用这个名字来抓。

每一行都出自厂商自己的文档,链接列在文末。带原文措辞的全表(含 OAI-AdsBot 这类只在投放广告时才相关的审核代理)见我们的 AI 爬虫清单。

四种立场,各自的代价

绝大多数站点最后都会落在下面四种立场之一。动手之前先把自己的立场写成一句话,它正好就是文件开头的那段注释。

立场训练代理搜索与用户代理Google-Extended你放弃了什么
全部开放放行放行放行对训练用途的任何发言权。
拒绝训练,留在回答里(下文这份文件)封锁放行放行,并在注释里记为一个决定回答方面什么都不损失;但 Gemini 仍可依 Google-Extended 使用内容。
连 Gemini 一起拒绝训练封锁放行封锁grounded 的 Gemini 回答。Google 搜索的收录与排名不受影响。
封锁全部 AI 代理封锁封锁封锁ChatGPT 搜索、Perplexity、Claude、Meta AI 与 grounded 的 Gemini 回答,以及 Apple 的搜索界面。用户触发的抓取仍可能到来。

做选择之前,还有两处空白要知道。xAI 没有公开文档化的爬虫 User-Agent,所以无法按名字放行或封锁 Grok;我们也没能在微软公开的站长文档里核实到 Copilot 专属的爬虫。千万不要照着猜出来的名字写规则:针对一个没人遵守的名字写规则比留空更糟,因为你会以为自己已经放行或封锁了什么。

一份带注释的完整文件

这一版取的是第二种立场:拒绝训练用途,同时保留出现在搜索回答和用户请求里的资格。立场可以按你的情况改,结构和注释请留着。注释保持英文,是因为 robots.txt 原样对外提供,中英文站点共用同一份。

# AI crawler policy for example.com
# Checked against each vendor's documentation on 2026-09-09.
# Owner: web team. Re-check when a vendor changes its crawler docs.

# --- Training corpora: declined. Does not affect today's answers. ---
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

# --- Usage controls (not crawlers) ---
# Applebot-Extended: training only; Apple says search is unaffected.
User-agent: Applebot-Extended
Disallow: /

# Google-Extended also controls grounding in Gemini answers,
# so blocking it would remove us from those answers. Decision: allowed.
User-agent: Google-Extended
Allow: /

# --- Search and answer indexes: allowed. Blocking removes us from answers. ---
# Private paths are repeated here: a named group does not inherit from *.
User-agent: OAI-SearchBot
User-agent: PerplexityBot
User-agent: Claude-SearchBot
User-agent: Applebot
User-agent: meta-webindexer
Allow: /
Disallow: /admin/
Disallow: /cart/

# --- User-triggered fetchers: allowed. Several may ignore this file anyway. ---
User-agent: ChatGPT-User
User-agent: Perplexity-User
User-agent: Claude-User
User-agent: meta-externalfetcher
Allow: /
Disallow: /admin/
Disallow: /cart/

# --- Everyone else ---
User-agent: *
Disallow: /admin/
Disallow: /cart/

Sitemap: https://example.com/sitemap.xml

这份文件里有四处是刻意这样写的:

  • 私有路径在每个具名分组里都重复了一遍。爬虫一旦找到点了自己名字的分组,就只遵守那一组,* 分组对它整体失效。假如 /admin/ 和 /cart/ 只写在 * 里,你放行的每个搜索代理也就一并被放进了这些路径。下一节会一步步演示这个过程。
  • 好几个代理共用一个分组。连续的几行 User-agent 与紧随其后的规则构成同一个分组,所以五个搜索代理用一个块就拿到了完全相同的待遇。也就不会出现改了这个、忘了那个的漂移。
  • Google-Extended 是一个取舍,而不是免费的退出开关。Google 的文档写明,它同时管 Gemini 的训练,以及 Gemini Apps 和 Vertex AI 里回答的 grounding。封了它,你仍留在 Google 搜索里,却会从 grounded 的 Gemini 回答中消失。所以注释里记的是一个决定,而不是默认值。这个选择的细节见 Gemini 与 Google-Extended。
  • 用户触发的那一组放行了,但并不指望它守规矩。OpenAI、Perplexity、Anthropic 和 Meta 都说明过,代表用户去抓取的代理未必像爬虫那样遵守 robots.txt。真要拦住它们,那是边缘节点或防火墙层面的决定,而且有实际代价,不是在 robots.txt 里加一行就能解决的。

如果你只想退出 OpenAI 的训练抓取、别的什么都不动,如何封锁 GPTBot 又不从答案里消失专门讲了这个更窄的情况。

注释本身就是策略的一部分

厂商文档会变:会有新代理出现,已有代理的说明也会被改写。所以文件头要写核对日期和负责人,每个规则块都要写理由。每次调整立场时复核一遍,某家厂商更新爬虫页面时也复核一遍。今天多写两行说明,接手的人就不用去猜哪几行动不得。

AI 爬虫 robots.txt 的匹配规则:爬虫到底读哪几行

多数出问题的 AI 爬虫 robots.txt,错的并不是「该封哪些代理」,而是对爬虫如何读文件的理解。爬虫不会执行看到的每一行,它只挑出一组规则,其余全部忽略。

OAI-SearchBot 请求 /cart/有没有分组点了 OAI-SearchBot 的名?User-agent 行按不区分大小写匹配没有改用 * 分组连 * 组也没有:全放行有只遵守这一个分组* 分组被整体忽略最具体的路径规则胜出Disallow: /cart/ 比 Allow: / 更长结果:/cart/ 不会被抓取最常见的坑只写在 * 分组里的路径,不会被具名分组继承。给某个代理单独写分组时,要把这些路径在组里再写一遍。
图 2 爬虫对一次请求应用 robots.txt 的过程:先选出一个分组,再在组内选最具体的路径规则。来源:robots 排除标准的匹配规则,套用本文的示例文件。

挑选分两步,两步都是机械的:

  1. 先选分组。爬虫寻找 User-agent 行与自己名字相符的分组,比较时不区分大小写。找到了,这个分组就是它的全部规则;如果有好几个分组都点了它的名,这些分组的规则会合并起来。只有在没有任何分组点它名字时,它才退回到 User-agent: *;要是连 * 分组都没有,就等于全部放行。
  2. 再选规则。在选中的分组里,路径匹配最长的那条规则胜出,跟这几行写的先后顺序无关。对购物车地址来说,Disallow: /cart/ 比 Allow: / 更具体,所以前者生效。如果一条 Allow 和一条 Disallow 匹配得一样长,Allow 胜出。

拿这两步去对照,改 AI 相关规则时最常见的几种翻车就很好理解了:

  • 新增一个具名分组,悄悄放开了私有路径。有人为了「写得明确一点」,加了 User-agent: OAI-SearchBot 和 Allow: /,结果这个代理从此不再读写着私有路径的 * 分组。
  • 空的 Disallow 恰恰是反义。Disallow: 后面什么都不写表示全部允许,Disallow: / 才是全部禁止,两者只差一个字符。
  • 代理名不分大小写,路径却分。Disallow: /Admin/ 管不到 /admin/。
  • 规则顺序不起作用,所以调换顺序修不好冲突。如果新加的 Allow 不生效,去同一分组里找一条更长的 Disallow。

各建站平台在哪里改

自建站点的 robots.txt 就是网站根目录下的一个文件。常见的托管平台不是这样:文件是生成出来的,而且每家都有一套默认规则,会和上面讲的匹配机制相互作用。

平台规则写在哪里默认从什么开始容易踩的坑
Shopify已发布主题里的 robots.txt.liquid 模板,遍历 Liquid 的 robots 对象再追加规则禁止 /admin、/cart、/checkout、/search、/policies/ 与带筛选参数的集合 URL整段替换会丢掉 Shopify 定期更新的默认规则;只有已发布的主题会生效。
WordPress由 do_robots() 生成的虚拟文件,可以用 robots_txt 过滤器修改User-agent: *、Disallow: /wp-admin/、Allow: /wp-admin/admin-ajax.php,外加一行 Sitemap在标准的 nginx 或 Apache 配置下,根目录里的真实 robots.txt 会先被返回,覆盖掉虚拟的那份。
WebflowSite settings → SEO → Indexing,含针对 AI 爬虫类别的流量控制开关由这些开关生成的规则;要去读,别假设默认就放行 AI 代理webflow.io 预览子域可能提供另一份「全部封锁」的文件,审计要在自定义域名上做。
HubSpotSettings → Content → Pages → SEO and Crawlers,按已连接的域名分别设置含 hs-sites 的系统域名永久 no-index,写什么都没用一条通配的 disallow 也会挡住 HubSpotContentSearchBot,悄悄弄坏站内搜索,除非单独给它开一个允许组。

在 Shopify 上,保留默认的那段循环,把 AI 分组追加在它后面。因为被你点名的代理只认你写的分组,所以要把默认规则里的私有路径抄进这个分组:

{% for group in robots.default_groups %}
  {{- group.user_agent }}

  {%- for rule in group.rules -%}
    {{ rule }}
  {%- endfor -%}

  {%- if group.sitemap != blank -%}
    {{ group.sitemap }}
  {%- endif -%}
{% endfor %}

# AI search agents: allowed, with Shopify's private paths repeated
User-agent: OAI-SearchBot
User-agent: PerplexityBot
User-agent: Claude-SearchBot
Allow: /
Disallow: /admin
Disallow: /cart
Disallow: /checkout
Disallow: /search
Disallow: /policies/

# AI training agents: declined
User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /

在 WordPress 上,过滤器是往虚拟文件末尾追加内容,道理一样:具名分组要自带一行 /wp-admin/。动手之前先确认根目录里没有一个实体的 robots.txt,否则过滤器根本不会被执行。

// In a small plugin or the child theme's functions.php
add_filter( 'robots_txt', function ( $output, $public ) {
    if ( ! $public ) {
        return $output; // site is set to discourage indexing; leave it alone
    }
    $output .= "\nUser-agent: GPTBot\nUser-agent: ClaudeBot\nDisallow: /\n";
    $output .= "\nUser-agent: OAI-SearchBot\nUser-agent: PerplexityBot\n"
             . "Allow: /\nDisallow: /wp-admin/\nAllow: /wp-admin/admin-ajax.php\n";
    return $output;
}, 10, 2 );

Webflow 和 HubSpot 只有一个设置框(Webflow 的细节来自其帮助中心):把注释版文件里的分组贴进去,再读一遍自定义域名实际返回的内容。用了 HubSpot 站内搜索的站点,收紧任何规则之前,先加上 User-agent: HubSpotContentSearchBot 和 Allow: /。

验证 AI 爬虫 robots.txt:实际请求,而不是读文件

读 robots.txt 只能知道你的本意,只有实际请求才知道真实行为。一个 AI 代理从发出请求到读到你的正文,中间有四个地方可能被拦下,而写在文件里的只有第一个。

一个 AI 代理请求你的某个页面1robots.txt有没有分组允许这个代理抓这条路径?2CDN/防火墙边缘节点是否对它返回 403 或质询?3响应状态码和普通浏览器拿到的是否一致?4HTML 正文不跑 JavaScript,正文还在不在?检查:读线上实际提供的那份文件检查:以每个代理的身份各请求一次页面,加一行浏览器对照,比较状态码和正文大小
图 3 AI 代理读到你的正文之前要过的四道关卡。只有第一道写在 robots.txt 里,另外三道只有真的去请求页面才看得到。来源:本节介绍的测试方法。

挑一个重要页面,以每个代理的身份各请求一次,用普通浏览器的 User-Agent 做对照,最后再把线上域名实际提供的 robots.txt 取回来:

URL=https://example.com/pricing/
for ua in "Mozilla/5.0" GPTBot OAI-SearchBot ChatGPT-User \
          PerplexityBot Perplexity-User ClaudeBot Claude-SearchBot Claude-User; do
  printf "%-20s " "$ua"
  curl -s -o /dev/null -w "%{http_code} %{size_download} bytes\n" -A "$ua" "$URL"
done

# And the file itself, exactly as your live domain serves it:
curl -s -w "\n-- %{http_code}\n" https://example.com/robots.txt

对照下表读输出:

你看到的说明什么去哪里修
浏览器那一行也失败了站点宕了或网址写错了。没有这行对照,宕机和封锁看起来一模一样。先修好网址或故障,再重跑。
放行了的代理拿到 403,浏览器拿到 200不管 robots.txt 怎么写,边缘层已经把它挡住了。CDN、防火墙或机器人管理规则,而不是这个文件。
代理拿到 200,正文却比浏览器小得多算失败,不算通过。多数 AI 爬虫不执行 JavaScript,靠脚本拼出来的页面到它们手里几乎是空的。改成服务端渲染,见 JavaScript 渲染与 AI 爬虫。
每一行的状态码和大小都一致这个页面在服务器这一侧没问题。拿线上那份 robots.txt 对照你定下的立场逐行读。

有两点提醒。这个测试看的是服务器对每个代理返回了什么,看不出爬虫是否遵守你的文件,所以最后那条命令要把线上实际提供的文件打印出来。另外,「没取到」和「不存在」要分开:robots.txt 请求超时,说明不了文件存不存在。

另外,从自己电脑发出的 curl 请求终究不是真正的爬虫。边缘节点可能同时按网络来源和名字识别已知代理,所以结果对不上时,应当把它当作去查 CDN 规则和日志的线索,而不是最终结论。如果你希望这些探测连同浏览器对照组、空正文检查一起自动跑,InsightWonder 的 AI 可抓取性体检做的就是这件事。

资料来源