一句话:这个品类里几乎每个工具都会显示提及率、引用和竞品对比,所以功能列表什么也说明不了——该问的是每个数字是怎么产生的,因为差别真正在那里。
我们自己就做这个,请带着这个前提读下面的内容。这六个问题是我们必须为自己回答的,而且其中好几个我们第一次是答错的。
一、我能看到问题集吗?里面有没有品牌名?
带你品牌名的问题当然会用你的品牌名回答。那是回声,不是可见度。一个三分之一的问题点了你名字的集合,能在真实值为零的情况下报出一个健康的分数——我们身上就发生过,十五道题里十三道,报出 13%,诚实的数字是零。看任何数字之前,先要这份清单。
二、引用是从答案正文数的,还是从检索候选池数的?
引擎组装的候选池远大于它真正引用的部分。数候选池会让引用数字虚高好几倍——我们自己修之前实测是两到四倍。如果供应商没法精确回答这个问题,就假定是更大的那个数。
三、竞品怎么判定?和判定我用的是同一段代码吗?
任何不对称都会朝「对供应商的客户有利」的方向偏,而这恰恰是它好卖的原因。要问清楚:是不是同一遍扫描、同一套匹配规则、同一套名称归一化适用于包括你在内的每一个品牌,以及平局怎么判。
四、跑失败的那一轮会怎样?
| 回答 | 意味着什么 |
|---|---|
| 「显示为缺口」 | 正确 |
| 「显示为 0%」 | 趋势上会出现假下跌 |
| 「从均值里排除」 | 均值会悄悄抬高;追问这个排除是否可见 |
| 「会自动重试」 | 好,但要问重试也失败时会怎样 |
五、我能点开任何一个数字、看到答案原文吗?
分数负责概括,证据负责解释。没有存下来的答案、引擎、日期和被引 URL,你就分不清是判定出了 bug 还是真的变了——而这个品类里,两种你都会经常遇到。一个拿不出底层答案的工具,是在索取它还没挣到的信任。
六、复跑一次多少钱?我负担得起多高的频率?
额度是硬约束。一个界面漂亮但你只跑得起每月一次的工具,一年给你十二个数据点,去对付一个「每轮都会变」的指标。在比较功能之前先算清楚你预算下的真实节奏,因为它决定了你拿到的是一份衡量,还是一串轶事。
诚实的总结:如果供应商把这六个问题都答得精确,那么无论界面长什么样,这个产品大概是扎实的。哪一个答得含糊,数字就是在那儿被做出来的。