做 GEO,值得纳入监测的引擎是 ChatGPT、Perplexity、Gemini、Claude 和 Grok。选它们的理由不是谁「最流行」,而是它们各自取内容的方式不同、引用来源的方式也不同,同一个页面可能在这家看得见、在那家完全缺席。目前没有可靠的公开使用量份额可以拿来排名,这篇也不编一个;下面比较的是你真正能查、能控制的东西。
为什么「哪个最流行」问错了
流行度排名告诉你人们在哪里提问,却不告诉你你的页面能不能进入回答。决定这一点的是很机械的几件事:哪个爬虫在替这个引擎取内容、能不能按名字放行或封锁它、这个引擎会不会把来源亮出来。这些事实都写在厂商自己的文档里,而且差别大到根本不存在一个统一的「AI 搜索」开关。各引擎的情况汇总在 AI 引擎页。
各引擎怎么拿到你的内容
| 引擎 | 有名字的代理 | 需要知道的 |
|---|---|---|
| ChatGPT(OpenAI) | GPTBot、OAI-SearchBot、ChatGPT-User | 分三种职责:GPTBot 收集训练内容,OAI-SearchBot 构建 ChatGPT 搜索背后的索引,ChatGPT-User 因为有人刚问到而去抓页面。封 OAI-SearchBot 会从 ChatGPT 搜索结果里消失,封 GPTBot 不会。 |
| Perplexity | PerplexityBot、Perplexity-User | 索引和用户触发的抓取是分开的。Perplexity 几乎每条回答都给出来源,所以这里的访问问题会很快反映在引用数据上。详见 Perplexity 页。 |
| Gemini(Google) | Google-Extended、Googlebot | Google-Extended 是使用控制而不是爬虫,真正抓取的是 Googlebot。封 Google-Extended 会让你留在 Google 搜索里,却从 grounded 的 Gemini 回答中消失。 |
| Claude(Anthropic) | ClaudeBot、Claude-SearchBot、Claude-User | ClaudeBot 收集训练内容,Claude-SearchBot 为 Claude 用户看到的搜索结果供料,Claude-User 按用户请求抓取。三者都可以有意识地分别放行或封锁。 |
| Grok(xAI) | 没有公开文档 | xAI 没有公开爬虫 User-Agent,所以没法按名字给 Grok 放行。你能控制的是页面对通用抓取是否可读:真实 HTML,机器人规则不对未知代理返回 403。 |
还有两个入口值得知道,哪怕不放进第一批监测:Apple 公开了 Applebot,服务于 Spotlight、Siri、Safari 里的搜索;Meta 分别公开了 Meta AI 搜索用的代理和按用户请求抓取的代理。Microsoft Copilot 是缺口:在微软公开的站长文档里核实不到 Copilot 专属爬虫——这和「它不存在」是两回事。
怎么决定监测哪些引擎
- 先看你的买家用哪些引擎。这只能从你自己的受众里了解,公开排名给不了。
- 测任何东西之前,先逐个引擎查访问。如果 OAI-SearchBot 或 PerplexityBot 被封,分数低是访问问题,不是内容问题。每种封锁会损失什么,见 AI 爬虫 User-Agent 逐个说明。
- 至少放一个会亮出来源的引擎,比如 Perplexity——引用能告诉你回答是用哪些页面拼出来的。
- 按引擎分别报告。各引擎每条回答点名的品牌数不同、引用方式也不同,跨引擎取平均会把该干活的地方藏起来。
常见误区
- 为了拒绝训练,用一条 robots.txt 规则封掉所有 AI 代理,结果顺手把自己从搜索型回答里也移除了。
- 以为封 Google-Extended 会影响 Google 搜索排名。Google 的文档明确说不会。
- 往 robots.txt 里写一个猜出来的 Grok User-Agent,然后以为已经放行了。