幻觉进不了生产:关键业务必须有规则引擎托底

发布时间: 2023-12-15 来源: 许愿牛科技

模型会编听起来合理的句子。关键业务不能把对错交给流畅度。规则引擎托底:允许的动作、禁止的区间、必须的校验,模型只在规则缝里建议,不能在规则外生效。

生成式模型进入企业后,最大的风险不是答得慢,是答得像真的。质检结论、折扣权限、交期承诺,一旦被流畅的句子带着走,现场会执行一条从未被批准的规则。幻觉在聊天里是笑话,在生产里是事故。

关键业务必须有规则引擎托底。模型可以建议,生效必须经过写死的门槛。没有门槛的智能,只是把不确定性加速。

为什么提示词拦不住幻觉

提示词要求"不要编造",模型仍会补全省略的字段。业务一忙,人会接受听起来完整的结果。越像内行,越难被拦。提示词是语气,不是权限。

把模型直接接到写库接口,危险会被放大。一条编造的客户等级、一次虚构的库存,会顺着单据链走得很远。回滚比生成贵得多。

关键业务要用规则引擎托住模型输出
流畅不是正确。正确要过规则,而不是过语感。

托底的最小结构

  • 允许动作清单:模型只能在清单内建议,清单外直接拒绝并记日志。
  • 数值与状态区间:价格、账期、库存、质检判定,越界即驳回,不给"接近也可以"。
  • 人签关键格:对外承诺、放行、改等级,必须人确认,模型不得静默生效。
  • 用真实幻觉样例做回归,新模型上线先过规则集,再谈效果提升。

XYN 数智化系统适合在工单、质检、价格节点上挂规则,再让 AI 在节点内给建议。幻觉进不了生产,智能才配进生产。先托底,再扩场景。

越界输出必须被规则驳回而不能写库
写库前的拒绝,比写库后的解释值钱。规则引擎就是那道拒绝。