AI 试点很多、生产很少:工程化缺的是评测、监控和回滚

发布时间: 2023-04-28 来源: 许愿牛科技

试点成功进不了生产,通常不是模型不够新,而是没有评测集、没有线上监控、没有一键回滚。这三件配齐,智能体才配称为企业能力。

企业并不缺 AI 演示。缺的是敢把演示接到工单、质检和审批上。试点环境里效果很好,一到生产就有幻觉、越权、延迟和无法追责。于是项目停在“再优化一下”,优化没有终点,因为没有工程标准。

工程化不是把模型部署到服务器那么简单。它要回答:怎么知道变差了,差了怎么办。

试点和生产的三条鸿沟

评测用演示数据,监控只看服务是否活着,出了错只能重启或关掉。没有这三条,业务不敢把关键路径交给智能体,IT 也不敢承诺 SLA。

试点演示与生产环境不是一回事
笔记本上的成功,到机房里可能是事故。中间要有评测和门禁。

生产级最小三件套

  • 评测集来自历史错单和真实工单,定期回归。
  • 监控准确率、延迟、越权和人工接管率,而不是只监控 CPU。
  • 回滚到上一版本或纯规则路径,必须能在分钟级完成。
生产 AI 必须能回滚
能回滚,业务才肯上线。不能回滚的智能,只是不可逆的冒险。

XYN 数智化系统把智能体挂在可配置流程上,并保留规则引擎托底,就是为了让生产有退路。试点可以热闹。生产必须无聊、可测、可撤。