提示 注入 演练: 攻击=测试用例 非 上线后 意外

게시일: 2022-07-21 출처: 许愿牛科技

上线后 才发现 绕过 指令=事故. 提示 注入 须写进 发布前 测试用例 过不了 不得对客.

助手 内测 听话 对客后 诱导 话术 套 不该给 内容. 非意外=测试 缺项. 发布前 越权·伪造身份·套取 内部字段 写成 用例 期望 拒绝·记录 非靠模型「应该懂」. 过不了 先加护栏 再上线.

攻击 当故事 客户那边 演一遍. 攻击 当用例 停 测试环境.

用例 比 口号 硬

列 禁止 回答 类: 薪酬明细·未公开价格·他人数据. 每类 正常·绕过 问法. 期望 拒绝+记录. 改模型/知识 回归 同一套.

  • 禁只测 友好 问题.
  • 失败 用例 挡发布 非观察观察.
  • 对客 日志 抽检 对照 用例.
上线前 越权 询问 列 测试用例
当测试跑=质量. 上线后意外=事故. 差别=有无 写 发布清单.

护栏 先于 演示

XYN 数智化 시스템 助手 权限·拒绝 策略·会话 审计 接 业务链. 演示 可漂亮 发布 看 用例 绿不绿. 绿=对客 不绿=内部 工具 先.

问: 上线 清单 有无 越权 用例. 无则 补上 再发 勿等 客户 替你测.

智能 助手 发布前 完成 误用 场景 测试套件
用例 发布前. 意外 发布后. 选前者 助手 才配 接 真实 数据.