模型效果衰减:反馈闭环のない AI 项目は三ヶ月で失效

公開日: 2023-11-10 出典: 许愿牛科技

上线当周最好、三个月后无人理会—现场结果が回写されずモデルは过期分布のまま。反馈闭环なしの AI は静かに衰减し、次の试点に置き換わる。

多くの AI 项目曲线典型:试点周准确率好看、上线后业务たまに使い、季度复盘で建议を信じない。团队はモデル老化と言う。老化の根因は算法ではなく现场结果が送り返されていないこと。质检判定・工单是否采纳・催办后是否关闭—标签不回写ならモデルは三个月前の世界。

反馈闭环なし AI は三个月で失效。失效前は rarely 报警—まだ建议を出す、ただ誰もクリックしない。

衰减が静かな理由

产品结构・客诉类型・供应商が変わる—训练分布は上线包で凍結。业务は绕开で不信を示す、绕开はログに入らず、数据团队は仍在服务と思う。投诉来たとき校正窗口は過ぎる。再标注高コスト、项目は新口号に置換。

采纳率と误差の主人がいなければ、衰减は事故ではなく黙認。

AI建议必须回写是否被采纳和最终结果
出建议不是闭环。回写结果才是。不回写、三个月后的智能只是纪念品。

闭环の最小配件

  • 每次建议记录采纳・改写・忽略—忽略要选原因。
  • 最终业务结果按主键回写、周级评估漂移。
  • 漂移超阈先降权或下线—过期准确率を展示し続けない。
  • 运营岗位看这张表、模型负责人と业务主人共同签字才能再上线。

XYN 数智化システムは AI を工单・质检节点に挂け、回写は同一张单に。效果要保持先保持闭环。无闭环、智能体再聪明も一季演示。

漂移超阈应降权下线而不是继续展示
过期准确率比没有更误导。闭环是为了有资格关掉它。