Gemini 没有一个可以按名字放行的爬虫

这是「Gemini 可见度追踪」第一件要搞对的事。Google 的文档把 Google-Extended 定义为一项使用控制而不是爬虫:它决定 Google 已经抓取到的内容能否用于训练 Gemini 模型、以及在 Gemini Apps 与 Vertex AI 中为回答提供 grounding。抓取本身由 Googlebot 完成。Google 明确说明这项控制不影响 Google 搜索的收录与排名。由此有两个后果。封掉 Google-Extended 会让你留在搜索里、却从 grounded 的 Gemini 回答中消失——这是一个有边界、很具体的代价,不是人们想当然的那种模糊的全站代价。而且因为它管的是使用而不是抓取,它被遵守时你的服务器日志里什么都不会出现,你这一侧没有任何东西可验证。文档见 Google 的爬虫参考。

另一个有文档的代理 Google-CloudVertexBot,只在站点所有者自行请求、用于构建 Vertex AI Agent 时抓取站点。除非你在用自己的内容建 Agent,否则与你无关。

所以追踪只能在答案侧做,不在日志侧

既然看不到 Gemini 来取任何东西,唯一能衡量的地方就是答案本身。这意味着和任何答案引擎一样的纪律:一组固定的、题面不含品牌名的买家问题;每道题多跑几遍,因为完全相同的两次运行答案也会变;三种结果分开记录——被提及(品牌被点名)、被引用(你的某个 URL 被附为来源)、被推荐(答案针对这个问题建议选你)。按整组问题上的比率汇报。答案里没有位置,所以任何以「Gemini 排名」呈现的东西,都只是某一次采样里品牌碰巧出现的先后顺序。

Gemini 追踪器对每条答案该记什么

字段对 Gemini 为什么特别要紧
问题、引擎、日期、第几轮没有这些就分不清判定 bug 和真实变化——两种都会发生
这条答案到底有没有 grounding没附任何来源的 Gemini 回答,和引用了竞品的回答是两种事件,不能混在一起算
被引用的 URL,只取答案正文里附上的被检索到但没附在回复里的来源不算引用
当时的 Google-Extended 策略改了这条指令曲线就要重新开始;把它记在这一轮旁边,以后看图的人才能解释那个台阶
失败的轮次,留空没跑完的一轮不是 0%——画成零会把平的趋势变成假的下跌

结果怎么读

  • 被点名但从不被引用:实体是认识的,页面没被当来源用。看看页面是否以能被抽走的形式陈述了事实。
  • 被引用但从不被推荐:你的页面是参考资料,而答案把买家送去了别处。这通常指向自有域名之外的印证不足。
  • 缺席而竞品被点名:先确认页面在 Google 搜索里是否真的被收录——grounded 回答取自同一个索引,搜索没收录的页面不可能被用来 grounding。

衡量规则在AI 答案里的品牌份额里写得更细;怎么监测品牌在 ChatGPT 里的提及那套方法对 Gemini 原样适用。想在搭建这些之前先拿一份样本,tools.insightwonder.com 的免费检查是个起点。