简答:想监测品牌在 ChatGPT 里的提及,做法是:写一套不含任何品牌名的买家问题,固定设置、按固定节奏在 ChatGPT 里跑;用完全相同的规则识别每条回答里的每一个品牌;把「提及」「推荐」「引用」分成三栏记录,并保留回答原文作为证据。搭起来一个下午就够了。难的是让它一直诚实,因为每一条捷径都会让数字比真实情况好看。
下面这些步骤,是我们给自己的测量定的规矩,其中好几条是先踩了坑才补上的。每个坑发生在哪天、当时报出了什么数字,都写在对应的位置。这套方法不需要专门的软件,第一个季度用一张表格加一个日历提醒就能跑起来。它真正需要的,是在数字不好看的时候规矩也不松动。
监测 ChatGPT 品牌提及之前,先确认它读得到你
如果 ChatGPT 根本抓不到你的网站,你监测到的大多是别人的页面在说什么。OpenAI 的文档里写了三个分工不同的代理:OAI-SearchBot 为 ChatGPT 的搜索功能建索引,ChatGPT-User 在用户要求时去读某个页面,GPTBot 收集可能用于训练的内容。用一条规则把三个一起封掉,是网站把自己从回答里抹掉的最常见方式;最常被误伤的是 OAI-SearchBot,很多网站本意只是拒绝训练。
在解读一个很低的提及率之前,先对照 OpenAI 的爬虫文档检查前两个代理有没有被放行。然后确认服务器真的会回应它们:robots.txt 写着放行,前面的 CDN 规则却对这些代理返回 403,实际效果就是封锁,而文件会一直宣称相反的事。ChatGPT 读不到的网站,提及率低是抓取问题,不是内容问题,监测做得再细也解决不了。
第一步:问题集里不能有品牌名
问题应该是买家真的会拿去问助手的那些决策,写成带处境的完整句子:有预算、有限制条件、有使用场景。助手回答的是处境,带限制条件的问题,点名的品牌和光秃秃的品类词完全不同。
| 意图 | 示例问题(仅作说明) | 在这类问题里缺席,通常意味着 |
|---|---|---|
| 调研 | 小诊所选预约排班软件,应该看哪些方面? | 品类在被讲解,但没你的份;你缺少能被引述的解释类内容 |
| 对比 | 有三个院区、员工共用的诊所,哪些排班工具合适? | 助手列候选名单时没把你放进去;去看它引用的盘点和点评站 |
| 购买 | 需要短信提醒的牙科诊所,用哪款排班软件最好? | 你输在做决定的那一刻;能回答这个限制条件的事实不在你的页面上 |
每道题都要记下意图。在调研题里被点名、在购买题里缺席,和反过来,是两种不同的问题,修法也不同,一个总百分比分辨不出来。
最大的坑是「自指问题」。题面带着你的品牌名,回答当然也会带,那是回声,不是可见度。让模型来生成问题集,它自己就会往这个方向偏:我们有一次生成了 15 道题,其中 13 道带品牌名,得出的可见度在五个引擎上齐刷刷 13%,而诚实的数值是零。竞品名也要排除,理由相同。要在生成问题的时候就过滤,而不是等到计分时才剔除,否则额度已经花在了注定要扔掉的题上。完整流程见 如何搭建问题集。
第二步:固定设置和节奏
凡是会改变测量结果的东西,每一轮都要一起记下来:哪个引擎、哪个模型回答的,有没有开联网搜索,问题集是第几版,日期是哪天。有一次开启联网检索,某站点从 3% 跳到 13%,而站点本身什么都没做。给每一轮打上口径版本号,不同版本的数据当作两条独立的序列,不要连成一条趋势线。
问题集在轮次之间保持不变,除非你有意去改。每个百分比的分母都是问题集,往里加几道容易的题,平均值就上去了,实际什么都没变好。真要改的时候,就把历史数据按新问题集重述一遍,而不是把旧线和新线接起来。
节奏要选你负担得起、能坚持下去的。我们自己的监测默认每月一次,因为回答次数来自账号级的共享额度,默认每周会悄悄把一个团队整月的额度都花在监测上。不管选什么节奏,都要确认每一轮跑完的结果真的进了序列:我们曾经发现,超过 10 分钟的检测运行从来没有被快照过,趋势线就这样悄悄把它们漏掉了。一条总是漏掉慢轮次的趋势线,会偏向「让检测跑得快」的那些情况,而这几乎从来不是你想测的东西。
第三步:所有品牌用同一套规则识别
回答里点名的每一个品牌都要计数,而不只是你名单上的那几个。买家看到的是助手点了谁的名,其中包括你从没听说过的品牌。然后对所有品牌,包括你自己,用完全相同的规则:
- 所有品牌走同一条判定逻辑。对自家名字宽松匹配、对竞品只认一份固定名单,从结构上就会抬高你的份额。不对称的竞品判定曾让一个品牌显示声量份额 31%、排名第二;对称地重测之后,是 0% 和倒数第一。
- 先把同一品牌的不同写法归一,再计数。大小写、标点、法律后缀,以及用产品线名代替公司名,都会把一个品牌拆成好几行。如果「Acme」和「Acme Systems」对你算一个实体,对竞品也必须算一个。原理见 品牌归一化。
- 份额旁边写明一共有多少个品牌。117 家里的 1% 和 5 家里的 1% 是完全不同的处境,光看百分比区分不了。
- 样本太薄就不报份额。几条回答算出来的百分比,是装成信号的噪声,下一轮就会大幅摆动。
负面提及要算进「被点名的品牌」里,因为买家确实读到了;但它不能算成你的战绩。一条回答点你的名,是为了劝买家别选你,把它记成你的加分,就把它的意思整个弄反了。竞品名单本身怎么选、怎么维护,见 竞品集设计。
第四步:把 ChatGPT 里的品牌提及拆成几栏记录
「Acme 的客服常被吐槽太慢,所以多数买家选了别的工具」——这句话里有你的品牌。它算不算数,取决于这个数字想回答什么问题。每条回答都按下面几栏分开记:
| 栏目 | 记录什么 | 回答哪个问题 |
|---|---|---|
| 提及 | 回答里任何位置出现了品牌名 | 买家到底看没看到我们的名字? |
| 推荐 | 回答针对这道题主动推荐了这个品牌 | 我们是答案本身,还是一个脚注? |
| 引用 | 回答标注的来源里有你的域名,且能对应到真实 URL | 我们的内容有没有被当作证据? |
| 情感 | 这次提及是正面、中性还是负面 | 买家从中了解到我们什么? |
你的页面可能被当作来源引用,而回答推荐的却是竞品。把这几栏合并,报告会好看,但这个缺口就被藏起来了。计引用时,只数回答正文里标注出来的来源:助手通常会检索十几个页面,只引用其中几个;映射不到真实 URL 的引用标注,应该丢弃而不是计入。份额到底该怎么算,见 AI 回答中的品牌份额。
留住证据,只对重复出现的变化告警
存回答原文,而不只是分数
分数负责概括,证据才告诉你该做什么。每一条结果都要存下:问题、完整回答、引擎、设置、日期、被引用的 URL,以及回答里点名的其他品牌。
没有回答原文,你就分不清是识别出了 bug 还是真的变了,而这两种情况你都会遇到。失败的轮次要记成「失败」,不要记成零:超时的模型对正反两面都没有提供证据,把它显示成 0%,等于凭空造出一次根本没发生的下滑。
状态变化连续两轮成立,才告警
什么都没变的时候,ChatGPT 的回答在轮次之间也会波动。有两条规矩能让告警保持有用。第一,同一个变化连续两轮出现才告警。第二,按「状态的变化」触发,而不是按「当前状态」触发,否则一个持续存在的情况每一轮都会重复报一次,真正的新问题就被淹没了。如果上一轮的口径版本和这一轮不同,就当作没有上一轮。合理的默认阈值见 告警与阈值。
整套方法,一张表看完
| 环节 | 捷径 | 它对数字做了什么 | 经得起核对的做法 |
|---|---|---|---|
| 问题 | 让模型生成,不加检查 | 带品牌名的题把你的名字回声回来:13%,实为零 | 不含品牌名、完整句子、记录意图、生成时就过滤 |
| 设置 | 序列中途换模型或开关联网搜索 | 测法变了,看起来像进步:什么都没做,3% 变 13% | 每一轮带口径版本,不跨版本比较 |
| 识别 | 自家宽松匹配,竞品只认名单 | 份额从结构上被抬高:31%,实为 0% | 所有品牌同一套规则,先归一再计数 |
| 栏目 | 只有一个「可见」标记 | 批评和引用都被算成战绩 | 提及、推荐、引用、情感分开记 |
| 失败 | 超时的轮次记成 0% | 凭空一次下滑,外加一条假告警 | 失败的轮次标为「无数据」 |
如果不想手工跑这一套,InsightWonder 的问题监测会按这些规矩定期跑 ChatGPT,并在每个数字旁边保留回答原文。
资料来源
- OpenAI:爬虫总览(GPTBot、OAI-SearchBot、ChatGPT-User)
- 文中引用的几次事故(带品牌名的问题集、不对称的声量份额、测法变化、漏掉的快照)来自 InsightWonder 自己的测量记录,时间在 2026-07-20 至 2026-09-07 之间。