成本看得见:token、算力、人工复核要算进场景 ROI

เผยแพร่: 2022-07-19 แหล่งที่มา: 许愿牛科技

AI 场景只报准确率,不报每次调用的 token、算力和复核人天,ROI 会是幻觉。把这三项记到场景上,贵的智能会被发现,该用规则的地方才不会被模型占领。

试点成功的标准常是"建议看起来对"。上线后调用量上来,账单和复核人力一起涨。没有人把 token、GPU 时间和人工复核算进该场景。于是智能显得便宜,因为它的成本进了信息部总账。成本看得见,才能决定这个场景该不该继续用模型,还是该退回规则。

ROI 不是准确率除以热情。是业务收益减去这三项成本。

看不见的成本如何膨胀

提示越写越长,上下文塞进整份合同,token 按数量级跳。复核为了放心变成全量人工,模型只是前置排版。排版很贵。演示环境调用少,生产环境一开放给全员,成本曲线才露脸。露脸时已经难以下线。

没有场景级账单,优化无从谈起。优化只能喊"大家少问一点"。

AI场景要把token算力和复核人天计入ROI
准确率是分子。成本是分母。没有分母的 ROI,是演示话术。

让每个场景有一张成本卡

  • 记录每次调用的 token、是否走贵模型、是否触发人工复核。
  • 复核人天按工单回写,全量复核的场景不得宣称已自动化。
  • 周成本超阈先缩范围或改规则,而不是先扩用户。
  • 对比规则引擎方案,模型只留在规则写不清的例外。

XYN 数智化系统把 AI 挂在节点上,调用可以按场景记账。成本看得见,智能才配谈经营。看不见,它只是一项会自我繁殖的费用。

周成本超阈应缩范围而不是继续扩用户
先扩用户,再看账单,账单会赢。先看账单,场景才会被选对。