做 GEO,值得纳入监测的引擎是 ChatGPT、Perplexity、Gemini、Claude 和 Grok。选它们的理由不是谁「最流行」,而是它们各自取内容的方式不同、引用来源的方式也不同,同一个页面可能在这家看得见、在那家完全缺席。目前没有可靠的公开使用量份额可以拿来排名,这篇也不编一个;下面比较的是你真正能查、能控制的东西。

为什么「哪个最流行」问错了

流行度排名告诉你人们在哪里提问,却不告诉你你的页面能不能进入回答。决定这一点的是很机械的几件事:哪个爬虫在替这个引擎取内容、能不能按名字放行或封锁它、这个引擎会不会把来源亮出来。这些事实都写在厂商自己的文档里,而且差别大到根本不存在一个统一的「AI 搜索」开关。各引擎的情况汇总在 AI 引擎页。

各引擎怎么拿到你的内容

引擎有名字的代理需要知道的
ChatGPT(OpenAI)GPTBot、OAI-SearchBot、ChatGPT-User分三种职责:GPTBot 收集训练内容,OAI-SearchBot 构建 ChatGPT 搜索背后的索引,ChatGPT-User 因为有人刚问到而去抓页面。封 OAI-SearchBot 会从 ChatGPT 搜索结果里消失,封 GPTBot 不会。
PerplexityPerplexityBot、Perplexity-User索引和用户触发的抓取是分开的。Perplexity 几乎每条回答都给出来源,所以这里的访问问题会很快反映在引用数据上。详见 Perplexity 页。
Gemini(Google)Google-Extended、GooglebotGoogle-Extended 是使用控制而不是爬虫,真正抓取的是 Googlebot。封 Google-Extended 会让你留在 Google 搜索里,却从 grounded 的 Gemini 回答中消失。
Claude(Anthropic)ClaudeBot、Claude-SearchBot、Claude-UserClaudeBot 收集训练内容,Claude-SearchBot 为 Claude 用户看到的搜索结果供料,Claude-User 按用户请求抓取。三者都可以有意识地分别放行或封锁。
Grok(xAI)没有公开文档xAI 没有公开爬虫 User-Agent,所以没法按名字给 Grok 放行。你能控制的是页面对通用抓取是否可读:真实 HTML,机器人规则不对未知代理返回 403。

还有两个入口值得知道,哪怕不放进第一批监测:Apple 公开了 Applebot,服务于 Spotlight、Siri、Safari 里的搜索;Meta 分别公开了 Meta AI 搜索用的代理和按用户请求抓取的代理。Microsoft Copilot 是缺口:在微软公开的站长文档里核实不到 Copilot 专属爬虫——这和「它不存在」是两回事。

怎么决定监测哪些引擎

  1. 先看你的买家用哪些引擎。这只能从你自己的受众里了解,公开排名给不了。
  2. 测任何东西之前,先逐个引擎查访问。如果 OAI-SearchBot 或 PerplexityBot 被封,分数低是访问问题,不是内容问题。每种封锁会损失什么,见 AI 爬虫 User-Agent 逐个说明。
  3. 至少放一个会亮出来源的引擎,比如 Perplexity——引用能告诉你回答是用哪些页面拼出来的。
  4. 按引擎分别报告。各引擎每条回答点名的品牌数不同、引用方式也不同,跨引擎取平均会把该干活的地方藏起来。

常见误区

  • 为了拒绝训练,用一条 robots.txt 规则封掉所有 AI 代理,结果顺手把自己从搜索型回答里也移除了。
  • 以为封 Google-Extended 会影响 Google 搜索排名。Google 的文档明确说不会。
  • 往 robots.txt 里写一个猜出来的 Grok User-Agent,然后以为已经放行了。

厂商文档:OpenAI 爬虫说明、Perplexity 爬虫说明、Google 常见爬虫。