模型效果衰减:没有反馈闭环的 AI 项目会在三个月后失效

เผยแพร่: 2023-11-10 แหล่งที่มา: 许愿牛科技

上线当周效果最好,三个月后无人理会,是因为现场结果没有回写,模型还在用过期分布。没有反馈闭环,AI 项目会静静衰减,直到被下一次试点替换。

很多 AI 项目的曲线很典型:试点周准确率好看,上线后业务偶尔用,季度复盘时发现建议已不敢信。团队说模型老化。老化的根因通常不是算法,是没有把现场结果送回去。质检判定、工单是否被采纳、催办后是否关闭,这些标签不回写,模型仍在用三个月前的世界。

没有反馈闭环的 AI,会在三个月后失效。失效前很少报警,因为它还在出建议,只是没人再点。

为什么衰减会静悄悄

产品结构变了,客诉类型变了,供应商换了,训练分布却冻结在上线包里。业务用绕开表示不信任,绕开不进日志,数据团队以为仍在服务。等到投诉,已经错过校正窗口。重新标注成本高,项目更容易被新口号替换。

没有主人看采纳率和误差,衰减就不是事故,是默许。

AI建议必须回写是否被采纳和最终结果
出建议不是闭环。回写结果才是。不回写,三个月后的智能只是纪念品。

闭环的最小配件

  • 每次建议记录采纳、改写、忽略,忽略要选原因。
  • 最终业务结果(合格、关闭、回款、投诉)按主键回写,周级评估漂移。
  • 漂移超阈先降权或下线,而不是继续展示过期准确率。
  • 指定运营岗位看这张表,模型负责人和业务主人共同签字才能再上线。

XYN 数智化系统把 AI 挂在工单和质检节点上,回写可以长在同一张单里。效果要保持,先保持闭环。没有闭环,智能体再聪明,也只是一季的演示。

漂移超阈应降权下线而不是继续展示
过期的准确率比没有更误导。闭环是为了有资格关掉它。