定义
Google-Extended 不是爬虫，而是一项使用控制：它决定 Google 已经抓取到的内容能否用于训练 Gemini 模型、以及在 Gemini Apps 与 Vertex AI 中为回答提供 grounding。Google 文档说明它不影响 Google 搜索的收录与排名。
为什么重要
这是目前各厂商里把「搜索存在」与「AI 使用」分离得最干净的一处，因此也是唯一一个可以真正权衡、而不是靠猜的地方。这也意味着在这里写 Disallow 的代价是明确且有边界的——只影响 grounded 的 Gemini 回答——而不是人们想当然的那种模糊代价。
如何衡量
因为它管的是使用而不是抓取，你无法通过服务器日志验证它。把它当成一条明示的策略决定记录下来，然后在答案侧衡量效果：在固定问题集上看 Gemini 的提及率与引用率，与没有施加此类控制的引擎作对照。