← 全部文章← All writing

评测

复盘一条建议,只能用它当时知道的东西

系统给销售提了一条建议:这单询价,优先发给某家运营商。三周后,那家运营商出了问题,单子丢了。

这条建议是错的吗?

大多数复盘会直接说「是」。但如果建议提出的那天,这家运营商一切正常——飞行量平稳、资质有效、最近没有拒单——那它在当时就是对的。错的不是那条建议,而是后来发生了没人能预见的事。

反过来也一样。一条建议碰巧蒙对了,复盘时被记成「命中」,系统就会更相信产生它的那套逻辑——哪怕那套逻辑在当时根本没有足够的依据。

后见之明会悄悄污染评估

问题出在数据上。评估建议时,人和系统看到的都是今天的数据库:所有后来补录的字段、后来修正的错误、后来才知道的结果,全都在里面。

拿今天的数据去判断三周前的决定,等于让它在考试时偷看了答案。这样算出来的「建议命中率」,比真实的高,也比真实的更具误导性:它奖励的是运气和后见之明,而不是判断本身。

如果一套系统要靠「采纳了多少、命中了多少」来证明自己靠得住,这个偏差就是致命的。它会让你相信一个其实并不可靠的东西。

两条时间线,分开记

解法是在数据里同时记两个时间:

  • 事实什么时候成立:这家运营商的资质哪天开始失效、这架飞机哪天换了运营商
  • 系统什么时候知道:这件事哪天被采集到、录进来、被人确认

两个时间通常不一样。资质可能月初就失效了,系统到月底才知道;某个航班的真实运营方,可能要等报价邮件回来才搞清楚。

有了这两条时间线,复盘就能问一个精确的问题:**在建议提出的那一刻,系统已经知道什么?**只用那一刻已知的信息去评估,结论才公平。

这件事比听上去更重要

它影响的不只是复盘报告好不好看。

一条建议值不值得信,最终要看它的历史命中率。如果命中率是用后见之明算出来的,管理层就会在错误的地方信任 AI,在该谨慎的地方放手。

把「当时知道什么」记下来,还顺带解决另一个问题:**每条关系都带证据、置信度和审核状态,推断经人确认才算事实。**这样,系统里每一个数字都能回答两个问题:它从哪来,它是什么时候变成我们相信的东西的。

一个会提建议的系统,首先要能诚实地评估自己。而诚实的第一步,是不让它在考试时看到答案。