一句话:AI 答案里的品牌份额,是指在一组固定的买家问题中,生成式引擎点名你的品牌的比例——同一组问题、同一批竞品、每次用同样的方式跑。
定义不难,难的是拿到一个敢在客户面前展开的数字。这个品类里每个看板都在报「份额」,而其中大多数比真相高。下面四种失真我们最熟,因为我们自己的产品四种全犯过,一个一个修回来的。
失真一:问题里带了自己的品牌名
如果问题是「Acme 靠谱吗」,答案当然会出现 Acme。那不是可见度,那是回声。由 LLM 自动生成的问题集会自己往这个方向漂——我们的生成器曾经产出 15 道题,其中 13 道带品牌名,五个引擎跑出来齐刷刷 13%,而真实值是 0。
自指问题除了证明引擎读得懂题目之外什么都没测到。分子分母都要排除它,而且要在生成环节就排除,不能只在打分环节排除。
修复必须落在三处:生成提示词要明确要求不许写这种题;确定性过滤要兜住它仍然写出来的;兜底模板集本身要干净。只有过滤没有前两层,额度照样烧在你马上要丢掉的问题上。
失真二:对自己和对竞品用不同的判定
典型写法:自己按子串匹配,竞品按全名匹配;或者自己走 LLM 判定,竞品走词表判定;又或者归一化把「Acme」和「Acme Systems」合并成一个实体,却让竞品被拆成两行。
任何不对称都朝同一个方向偏,因为你是盯着自己的名字写的这段检测。规矩是:同一段代码、同一遍扫描,判定集合里每一个品牌的出现与否——并且平局判给对方,不判给自己。
失真三:把负面提及算成出现
一句「Acme 常被诟病 X,所以多数买家选择 Y」确实包含你的品牌。算不算,取决于这个数字要回答什么问题。提及率和推荐率回答的是两件事,把它们并成一列,恰好在最要紧的时刻——竞品对比开始对你不利的那一刻——让指标失效。
拆成两列报。一个品牌完全可能在 40% 的答案里被提到,只在 4% 的答案里被推荐。
失真四:把「没测」画成 0
没跑成的问题、超时的引擎、没有排期的那一周,都不是 0。画成 0% 会把所有均值往下拽,让一条本来平的曲线看起来在下跌;留空才是实话。这条听着迂腐,直到客户问你「为什么这周分数掉了」,而那周根本没采集。
怎么算出一个敢展开的数字
| 决策项 | 规矩 |
|---|---|
| 问题集 | 固定且有版本号。题面不含品牌名。改了它,这条曲线就要重新开始。 |
| 竞品集 | 事先声明;包括你自己在内,每一个成员用完全相同的判定。 |
| 引擎 | 固定清单,逐次运行都记录。增加一个引擎属于方法论变更。 |
| 引用 | 只算答案正文里真实标注的来源。检索候选池不是引用——把它算进来会让数字虚高几倍。 |
| 缺失数据 | 写 null,不写 0,并且把缺口显示出来。 |
| 节奏 | 固定间隔、固定时段;结果锚定在这一轮的发起时间,而不是任务跑完的时间。 |
这些规矩都不会让数字更好看。它们只让数字在被人核对时活下来——而一旦有人为它付钱,这就是唯一重要的性质。