简答:Gemini 优化(Gemini SEO)说到底只有两件事归你管,还有一件事你只能去测。归你管的第一件是声明:Google 的文档把 Google-Extended 定义为一项使用控制,而不是爬虫,它决定 Googlebot 已经抓到的内容能否用于训练 Gemini 模型、能否在 Gemini Apps 与 Vertex AI 里为回答提供 grounding,并且明确说明不影响 Google 搜索的收录与排名。第二件是 Googlebot 读到的那张页面。中间发生的一切你都看不见,所以效果只能到 Gemini 的回答里去衡量,服务器日志帮不上忙。
这让 Gemini 成了配置起来最省事、从自己这一侧却最难验证的引擎。值不值得花这个力气?Google 在 2026 年第二季度财报讲话里说,Gemini 应用的月活跃用户是 950 million,也就是 9.5 亿。下面依次讲:这项声明管什么、不管什么;它和 Google 另外两个开关是什么关系;它和其他厂商的开关差在哪里;页面上还能改什么;以及改完之后怎么看效果。
Gemini 优化的第一步是声明,不是放行爬虫
Google-Extended 是写在 robots.txt 里的一个标识,但从来没有一个叫这个名字的代理来请求你的页面。真正来抓取的是 Googlebot,也就是为 Google 搜索干活的那个爬虫;Google-Extended 只管这些内容被抓到之后可以拿去做什么。依据是 Google 的常见爬虫列表,这类页面会改,建议直接读原文,不要只看别人的转述。
这带来两个很实际的后果。第一,你在访问日志里永远搜不到 Google-Extended。改完规则去日志里查,什么都查不到才是正常结果,并不说明规则没生效。第二,Gemini 能不能读到你,取决于 Googlebot 能不能读到你:Googlebot 抓不到的页面,Google-Extended 怎么写都进不了 grounded 回答。如果你对某个目录屏蔽了 Googlebot,或者这个目录总给 Googlebot 返回错误,那么关于这个目录的 Gemini 决定,其实你早就做完了。
既然这个决定在日志里不留任何痕迹,就把它写在下一个接手的人一定会看到的地方,也就是规则旁边:
# Gemini:这是使用控制,不是爬虫。
# 决定:允许用于训练,以及在 Gemini Apps / Vertex AI 中做 grounding。
# 理由:出现在 grounded 的 Gemini 回答里,比训练方面的顾虑更重要。
# 负责人:网站组。复核:2026-10。无论怎么选,Google 搜索都不受影响。
User-agent: Google-Extended
Allow: /
# 如果决定拒绝,把上面这一组换成:
# User-agent: Google-Extended
# Disallow: /
其实不写这一组也可以:没有单独的组时,Google-Extended 会沿用 User-agent: * 那一组的规则。但仍然值得写:把决定和理由都写出来的文件,比「决定藏在一段空白里」的文件难误改得多。接手的人看到文件里没有 Google-Extended,分不清是没人想过,还是有人想过之后选择了放行。
同一次抓取,Google 给了三个开关
做 Gemini 优化时最常见的误会,是把 Google-Extended 当成「Google 所有 AI 功能」的总开关。实际上 Google 文档里写的是三个彼此独立的决定,作用对象都是 Googlebot 抓过一次的同一份内容。把它们混为一谈,改出来的结果往往是:想改的没改到,不想动的反倒动了。
第三个开关比前两个新。2026 年 6 月,Google 在 Search Console 里加了一个控制项,让网站可以选择不出现在、也不为 AI Overviews、AI Mode 和 Discover 里的 AI Overviews 提供依据。按 Google 的说法,退出的网站不会再从这些功能获得流量或曝光;这个控制不会作为这些功能之外普通搜索结果的排名信号;而且它最初只向英国的一部分网站所有者开放。原文见 Google 官方博客。这篇公告没有说 Google-Extended 能管到这些功能,Google 的爬虫文档也没有说 Google-Extended 能管到 AI Overviews。
所以「怎么退出 Google 的 AI」这个问题没有统一答案,要看你指的是哪个界面:
| 你想做到 | 文档里的做法 | Google 搜索会怎样 | Gemini 会怎样 |
|---|---|---|---|
| 拒绝 Gemini 训练与 grounding | User-agent: Google-Extended 加 Disallow: / | 不受影响,文档明确说明收录与排名都不变 | 从 Gemini Apps 与 Vertex AI 的 grounded 回答中消失 |
| 不进 AI Overviews 和 AI Mode | Search Console 里的退出控制(前提是你的账号已开放) | 不作为普通结果的排名信号 | 公告只点名了搜索里的功能,没有说 Gemini 受影响 |
| Google 的一切都不出现 | 直接屏蔽 Googlebot | 从搜索中消失 | 什么都没抓到,自然也无从 grounding |
| 处处都有资格出现 | 放行 Googlebot,Google-Extended 放行或不写,不用退出控制 | 正常 | 具备被 grounding 的资格 |
多数品牌要的是最后一行。但要说清楚:这只是起跑条件,不是结果。「有资格」的意思是 Google 可以用这张页面,至于某一条回答会不会点你的名,是按问题逐条决定的。
Google 的开关和其他厂商有什么不同
OpenAI、Anthropic、Apple、Google 都给了你拒绝训练的办法,但分界线画在不同的位置。如果你从网上抄来一份「拒绝 AI 训练」名单,原本是为某一家写的,直接套到另一家身上,就很容易出事。
差别就在那个合并起来的格子。OpenAI 和 Anthropic 各有一个训练爬虫和一个独立的搜索代理,你可以禁止 GPTBot 或 ClaudeBot,同时保留 OAI-SearchBot 或 Claude-SearchBot。Apple 的 Applebot-Extended 和 Google-Extended 一样只是标识、不是爬虫,但它只管训练 Apple 的基础模型,Apple 的文档写明禁止它的页面仍可出现在 Apple 的搜索结果里。只有 Google-Extended 把训练和 grounding 捆在一起:在 Gemini 这边,你没法只拒绝一种用途而保留另一种。
反过来看,Google 也是和传统搜索分得最干净的一家。拒绝 Gemini 碰不到你的 Google 排名;而屏蔽 OAI-SearchBot,你就从 ChatGPT 搜索结果里消失了。Apple 的说明见 Apple 的 Applebot 文档;OpenAI 与 Anthropic 那一侧怎么处理,见 怎么封掉 GPTBot 而不从 ChatGPT 里消失。
Google 还写了另一个和 AI 有关的代理 Google-CloudVertexBot:它只在站点所有者自己发起请求时抓取站点,用于构建 Vertex AI Agent。只有你拿自己的内容搭 Agent 时它才相关,它不是通用的检索代理,也不改变上面关于 Gemini 的决定。几个概念的简短定义,汇总在 Google-Extended 术语条目里。
Gemini 这道题该怎么选
因为开关是捆绑的,最后只剩一个问题:出现在 grounded 的 Gemini 回答里,对你来说是不是比拒绝 Gemini 训练更值?下面几条能帮你老实地回答。
- 按自己的生意来定,别按刚读到的那篇文章来定。收入靠内容独占的出版方,和希望买家问到品类时被点名的品牌,算出来的账可能完全相反。两种选择都说得通,说不通的是不加思考、照抄别人家 robots.txt 的选择。
- 弄清楚你没在决定什么。Google 搜索的收录与排名不在这个开关的范围里。改了 Google-Extended 之后搜索流量下滑,原因不在这次改动,把规则改回去也找不回流量。
- 别把它的范围想大了。文档写明的只有 Gemini 模型训练,以及 Gemini Apps 与 Vertex AI 里的 grounding。AI Overviews 是另一回事,有自己的开关,见 如何出现在 Google AI Overviews 里。
- 在文件里写上复核日期。这些开关都很新,最近几个月 Google 就新加了一个。带日期的决定方便回头复查,不带日期的决定会悄悄过期。
页面上的 Gemini 优化:还能改什么
声明定下来以后,剩下的工作全在 Googlebot 已经抓到的页面上,而且没有一项是 Gemini 专属的。这其实是好事:同一张页面服务所有引擎,哪天你的重点从一个助手换到另一个,这些功夫都不白费。
- 实质内容要在 HTML 里。多数 AI 爬虫不执行 JavaScript。不管 Googlebot 怎么处理脚本,同一张页面还会被 ChatGPT、Perplexity、Claude 的代理读取,只在客户端渲染出来的内容,会在别的引擎上让你吃亏。
- 先给答案,并点明主语。小标题写成问题,标题下第一句就直接回答,这段话被单独摘走时依然成立。
- 写事实,不写形容词。助手摘走的是能回答某个限制条件的句子:尺寸、材质、退换期限、兼容性。为品牌调性写的文案读起来再顺,也给不了它可摘的东西。
- 有时效的内容要标日期。隐含「要当前答案」的问题,会偏好标了日期、近期更新过的页面。标上真实的发布与修改日期,并且别让构建流程每次部署都自动刷新它。
- 让实体没有歧义。带官方名称、标志,以及指向你自己控制的主页的 sameAs 链接的 Organization 标记,让你能用机器已经信任的形式声明身份。把它当作消除歧义的手段,而不是排名杠杆。该放哪些链接,见 实体与 sameAs。
还有一个理由提醒你别把 Google 的几个界面当成一个:Ahrefs 比较了 540,000 组查询,发现 AI Mode 和 AI Overviews 只有 13.7% 的时候引用相同的 URL,尽管两边回答的意思非常接近。同一家公司的两个产品回答同一个问题,选的来源都可能不同,所以 Gemini 在你的测量表里应该单独占一行,而不是从别的引擎推出来。
到看得见的地方去衡量 Gemini 的效果
Gemini 这边你能控制的是声明和页面,中间发生了什么你看不到。效果唯一能被观察到的地方是回答本身,所以测量要建在那里:
- 用一套固定的买家问题,题面不带你的品牌名,并且保持不变。每个百分比的分母都是问题集,往里加更容易的题,平均值会上去,实际什么都没变好。
- 先单独报告 Gemini,再和其他引擎一起平均。在我们自己的基准里,一个模型每条回答点名 3.5 个提供方,另一个只有 2.1 个,跨模型的单一数字哪种处境都描述不了。
- 连续两轮都出现的变化才算数,因为什么都没改的时候,回答在轮次之间也会波动。
- 失败的轮次不要显示成零。超时的模型对正反两面都没有提供证据,把它算成「未提及」,等于凭空造出一次下滑。
- 对比期间别换测法。有一次开启联网检索,某站点从 3% 跳到 13%,而站点本身什么都没做。如果你查询 Gemini 的方式变了,就重新起一条基线,不要把前后两段连成一条线。
如果你改了 Google-Extended 规则,记下日期,对比改动前后的检测,最好再拿一个什么都没改的引擎作对照。这种对照怎么搭,见 衡量随时间的变化;Gemini 在我们自己基准各个品类里的实际表现,见 Gemini 引擎页。
资料来源
- Google Search Central:常见爬虫列表(Google-Extended、Google-CloudVertexBot)
- Google:面向网站所有者的新控制项(AI Overviews 与 AI Mode 的 Search Console 退出控制)
- Google:Alphabet 2026 年第二季度财报讲话(Gemini 应用月活跃用户)
- Apple:关于 Applebot(Applebot、Applebot-Extended)
- OpenAI:爬虫总览与 Anthropic:站点所有者如何屏蔽爬虫
- Ahrefs:AI Overviews 与 AI Mode 对比