模型卡片:每个生产模型都要能回答适用边界和失败案例

Veröffentlicht: 2022-08-12 Quelle: 许愿牛科技

生产模型不能只有准确率。模型卡片要写清适用边界、禁止场景和已知失败,值班才能决定信不信、切不切。

模型上线,值班问\"这个料能用吗\",没人答得清。生产模型要有卡片:训练数据范围、适用产品/工况、禁止场景、已知失败、回滚开关、主人。没有卡片的模型,是没有说明书的设备,出事时只能关全站。准确率是卡片里的一行,不是卡片的全部。

边界写不清,业务会把模型用到训练集从未见过的地方,然后宣布AI不行。

卡片是上线门票

适用:哪些SKU、哪道工序、什么时段。禁止:新材料、未标定工位。失败:误杀案例与处置。监控指标与下线阈值。变更卡片与变更模型同一版本。

  • 卡片对值班可见,不是只在算法组网盘。
  • 超边界输入默认拒绝或转人工,不硬预测。
  • 失败案例回写标注,卡片定期修订。
生产中无人能说明模型不适用的边界
说不清边界,模型就会被用到边界之外。之外的准确率没有合同。

失败案例是资产

XYN 数智化系统把AI建议做成可关节点,卡片决定开还是关。有卡片的模型才是生产级能力;只有准确率的,仍是实验。实验可以继续,但不要占生产账号。

给每个在跑的模型补一页边界和三个失败例。补不出,先关建议,再补课。

模型卡片标明适用限制与失败样例
卡片在,值班敢用。卡片不在,值班只能赌。