模型卡片:每個生產模型都要能回答適用邊界和失敗案例

發布時間: 2022-08-12 來源: 许愿牛科技

生產模型不能只有準確率。模型卡片要寫清適用邊界、禁止場景和已知失敗,值班才能決定信不信、切不切。

模型上線,值班問\"這個料能用嗎\",沒人答得清。生產模型要有卡片:訓練數據範圍、適用產品/工況、禁止場景、已知失敗、回滾開關、主人。沒有卡片的模型,是沒有說明書的設備,出事時只能關全站。準確率是卡片裡的一行,不是卡片的全部。

邊界寫不清,業務會把模型用到訓練集從未見過的地方,然後宣布AI不行。

卡片是上線門票

適用:哪些SKU、哪道工序、什麼時段。禁止:新材料、未標定工位。失敗:誤殺案例與處置。監控指標與下線閾值。變更卡片與變更模型同一版本。

  • 卡片對值班可見,不是只在算法組網盤。
  • 超邊界輸入默認拒絕或轉人工,不硬預測。
  • 失敗案例回寫標註,卡片定期修訂。
生產中無人能說明模型不適用的邊界
說不清邊界,模型就會被用到邊界之外。之外的準確率沒有合同。

失敗案例是資產

XYN 數智化系統把AI建議做成可關節點,卡片決定開還是關。有卡片的模型才是生產級能力;只有準確率的,仍是實驗。實驗可以繼續,但不要佔生產帳號。

給每個在跑的模型補一頁邊界和三個失敗例。補不出,先關建議,再補課。

模型卡片標明適用限制與失敗樣例
卡片在,值班敢用。卡片不在,值班只能賭。