很多 AI 项目的曲线很典型:试点周准确率好看,上线后业务偶尔用,季度复盘时发现建议已不敢信。团队说模型老化。老化的根因通常不是算法,是没有把现场结果送回去。质检判定、工单是否被采纳、催办后是否关闭,这些标签不回写,模型仍在用三个月前的世界。
没有反馈闭环的 AI,会在三个月后失效。失效前很少报警,因为它还在出建议,只是没人再点。
为什么衰减会静悄悄
产品结构变了,客诉类型变了,供应商换了,训练分布却冻结在上线包里。业务用绕开表示不信任,绕开不进日志,数据团队以为仍在服务。等到投诉,已经错过校正窗口。重新标注成本高,项目更容易被新口号替换。
没有主人看采纳率和误差,衰减就不是事故,是默许。

闭环的最小配件
- 每次建议记录采纳、改写、忽略,忽略要选原因。
- 最终业务结果(合格、关闭、回款、投诉)按主键回写,周级评估漂移。
- 漂移超阈先降权或下线,而不是继续展示过期准确率。
- 指定运营岗位看这张表,模型负责人和业务主人共同签字才能再上线。
XYN 数智化系统把 AI 挂在工单和质检节点上,回写可以长在同一张单里。效果要保持,先保持闭环。没有闭环,智能体再聪明,也只是一季的演示。
