一句话:要求连续两轮同方向才告警、按边沿而不是电平触发、并且每条告警都指出证据——否则一个月内大家就会把这个频道静音,而系统的存在比不存在更糟。

第一个 bug:单轮就响

生成式答案在完全相同的两次运行之间就会变化。建立在它上面的指标会在没有任何原因的情况下每个周期动好几个点。挂在单轮上的告警因此是在噪声上响,而第二次或第三次误报就会教会所有人一扫而过。从那以后,真正的告警会进入一个没人读的频道。

连续两轮同方向,否则不算告警。波动很少连着两次都有方向。

第二个 bug:按电平而不是按边沿

这个我们上线过。写成「提及率低于 X 就响」的告警,会在条件成立期间每一轮重新响一次。一个品牌在阈值之下待了三个月,就会产生三个月一模一样的告警,和垃圾消息无法区分。

正确的触发是状态转换:条件变为成立时响一次,然后只有在它变为不成立、再变为成立时才再响。状态要按站点、按条件存下来,这比一次阈值比较要多做不少事,而它正是「有用的告警」与「被静音的频道」之间的全部差别。

一条有用的告警包含什么

要素为什么
变了什么,前后两个值都给「提及率 34% → 21%」可操作;「可见度下降」不可操作
哪两轮,带日期让读的人能检查是不是一次采集失败造成的
哪些问题在动集中在一个意图分组里的变化有原因;均匀铺开的是噪声
一个通往证据的链接答案原文才能区分「判定 bug」和「真的变了」
哪些没跑防止把采集缺口读成下跌

到底什么值得告警

比人们以为的少。这个品类里多数指标波动太大,不值得一条通知。值得的是:

  • 某个被点名的竞品稳定地出现或消失。一个能找到原因的事件。
  • 抓取权限丢失。二元的、灾难性的,而且通常是某次没人联想到这件事的部署造成的。
  • 引用来源构成发生偏移。它变得很慢,所以一动就有意义。
  • 连续采集失败。这是保护其余所有告警的那条告警。

让这个频道活下去的那条规矩

每条告警都应该是有人今天就会去处理的。如果一条告警只是「知会」,它属于每周摘要,不属于通知。一个十条里有九条不需要行动的频道,是一个已经被静音的频道——只是还没人告诉你。