模型卡片: 每个生产模型都要能答适用边界和失败案例

게시일: 2022-08-12 출처: 许愿牛科技

生产模型不能只有准确率. 模型卡片要写清适用边界·禁止场景·已知失败 值班才能决定信不信切不切.

模型上线 值班问这料能用吗 没人答得清. 生产模型要有卡片: 训练数据范围·适用产品/工况·禁止场景·已知失败·回滚开关·主人. 无卡片模型=无说明书设备 出事只能关全站. 准确率是卡片一行非全部.

边界写不清 业务会把模型用到训练集从未见过的地方 然后宣布AI不行.

卡片是上线门票

适用: 哪些SKU·哪道工序·什么时段. 禁止: 新材料·未标定工位. 失败: 误杀案例与处置. 监控指标与下线阈值. 变更卡片与变更模型同版.

  • 卡片对值班可见 非只在算法组网盘.
  • 超边界输入默认拒绝或转人工 不硬预测.
  • 失败案例回写标注 卡片定期修订.
生产中无人能说明模型不适用边界
说不清边界 模型会被用到边界之外 之外准确率无合同.

失败案例是资产

XYN 数智化 시스템 AI建议做成可关节点 卡片决定开还是关. 有卡片模型才是生产级 只有准确率仍是实验. 实验可继续但不要占生产账号.

给每个在跑模型补一页边界和三个失败例. 补不出先关建议再补课.

模型卡片标明适用限制与失败样例
卡片在 值班敢用. 不在 只能赌.