提示注入演練:把攻擊當成測試用例,而不是上線後的意外

發布時間: 2022-07-21 來源: 许愿牛科技

上線後才發現助手被繞過指令,成本是事故。提示注入應寫成發布前測試用例,過不了關不得對客。

助手對內測很聽話,對客後有人用誘導話術套出不該給的內容。這不是意外,是測試缺項。發布前要把越權詢問、偽造身份、套取內部欄位寫成用例,看系統是拒絕、降級還是照答。過不了的場景,先加護欄再上線。

攻擊當故事聽,會在客戶那邊演一遍。攻擊當用例跑,才能停在測試環境。

用例比口號硬

列出禁止回答的類別:薪酬明細、未公開價格、他人數據。每類準備正常問法和繞過問法。期望是拒絕並記錄,不是靠模型\"應該懂\"。改模型或改知識後回歸同一套用例。

  • 禁止只測友好問題。
  • 失敗用例進發布門檻,不進\"觀察觀察\"。
  • 對客日誌抽檢與用例對照。
上線前把助手越權詢問列為測試用例
當測試跑,是質量。當上線後意外,是事故。差別只在有沒有寫入發布清單。

護欄先於演示

XYN 數智化系統把助手權限、拒絕策略和會話審計接在業務鏈上。演示可以漂亮,發布看用例綠不綠。綠了,智能才對客;不綠,先當內部工具。

問一句:上線清單裡有沒有越權詢問的用例。沒有,補上再發,不要等客戶替你測。

智能助手發布前完成誤用場景測試套件
用例在發布前。意外在發布後。選擇前者,助手才配接到真實數據。