模型效果衰減:沒有反饋閉環的 AI 項目會在三個月後失效

發布時間: 2023-11-10 來源: 许愿牛科技

上線當周效果最好,三個月後無人理會,是因為現場結果沒有回寫,模型還在用過期分布。沒有反饋閉環,AI 項目會靜靜衰減,直到被下一次試點替換。

很多 AI 項目的曲線很典型:試點周準確率好看,上線後業務偶爾用,季度復盤時發現建議已不敢信。團隊說模型老化。老化的根因通常不是算法,是沒有把現場結果送回去。質檢判定、工單是否被採納、催辦後是否關閉,這些標籤不回寫,模型仍在用三個月前的世界。

沒有反饋閉環的 AI,會在三個月後失效。失效前很少報警,因為它還在出建議,只是沒人再點。

為什麼衰減會靜悄悄

產品結構變了,客訴類型變了,供應商換了,訓練分布卻凍結在上線包裡。業務用繞開表示不信任,繞開不進日誌,數據團隊以為仍在服務。等到投訴,已經錯過校正窗口。重新標註成本高,項目更容易被新口號替換。

沒有主人看採納率和誤差,衰減就不是事故,是默許。

AI建議必須回寫是否被採納和最終結果
出建議不是閉環。回寫結果才是。不回寫,三個月後的智能只是紀念品。

閉環的最小配件

  • 每次建議記錄採納、改寫、忽略,忽略要選原因。
  • 最終業務結果(合格、關閉、回款、投訴)按主鍵回寫,周級評估漂移。
  • 漂移超閾先降權或下線,而不是繼續展示過期準確率。
  • 指定運營崗位看這張表,模型負責人和業務主人共同籤字才能再上線。

XYN 數智化系統把 AI 掛在工單和質檢節點上,回寫可以長在同一張單裡。效果要保持,先保持閉環。沒有閉環,智能體再聰明,也只是一季的演示。

漂移超閾應降權下線而不是繼續展示
過期的準確率比沒有更誤導。閉環是為了有資格關掉它。