一句话：生成式答案在完全相同的两次运行之间就会变化，所以趋势只有在「问题集固定、样本大到能把波动平均掉、没采集的缺口如实留空而不是填上」的前提下才有意义。
波动从哪来
同一个引擎、同一个问题问两遍，你可能得到不同的品牌、不同的顺序、不同的引用来源。这两次之间你的站点什么都没变。正是这个性质，打破了从搜索那边带过来的每一个衡量习惯——在搜索里，SERP 一天之内大体稳定。
单次运行是轶事。衡量的单位是「一组问题上的比率」，不是一次观测。
能吸收噪声的采样方式
- 在问题之间取平均，而不是在同一个问题的多次运行之间取平均。二十五道题跑四次，信息量大于一百道题跑一次，而成本相同。
- 问题集和引擎都固定。任何一边有改动，前后就不可比，无论那道新问题多诱人。
- 结果锚定在这一轮的发起时间，不是任务跑完的时间。否则一次跑得慢的检测会落进错误的周期，在趋势上留下一个日后没人解释得清的折点。这个 bug 我们上线过：超过十分钟的运行压根没被快照过。
什么才算真的变动
在二十五到四十道题的集合上，轮次之间个位数的百分比变化通常都在噪声范围内。值得动手的信号是：
| 信号 | 为什么它比一个百分比更可信 |
|---|---|
| 连续两轮朝同一个方向 | 波动通常不会连着两次都有方向 |
| 变化集中在某一个意图分组里 | 噪声是均匀铺开的，真实原因不是 |
| 某个被点名的竞品稳定地出现或消失 | 这是一个你能去把原因找出来的事件 |
| 引用来源构成发生变化 | 它反映引擎去哪儿找资料，而这个变化很慢 |
告警怎么做才不狼来了
任何告警都要求连续两轮同方向才发出。一轮是噪声，而所有人都会学会忽略「在噪声上响」的告警。另外检查触发逻辑本身：按「电平」而不是按「边沿」触发的告警，会在条件持续期间每一轮都重新响一次，这会训练人们把它静音。这个 bug 我们也上线过。
保护整条曲线的那条规矩
失败的一轮不是 0。没有采集的那一周不是可见度为零的一周。把任何一种画成 0% 都会把平的趋势变成假的下跌，而悄悄丢掉它们则会抬高均值。两种都比在线上留一个诚实的缺口更糟，因为缺口会引出正确的问题，而错误的数字不会。