総務省は10月9日、オンライン開催した「AIセキュリティ分科会(第2回)」に関する資料を公開した。
同会では、デジタル庁から「行政の進化と革新のための生成AIの調達・利活用に係るガイドライン」についての説明が行われた他、三井物産セキュアディレクション株式会社(MBSD)から「プロンプトインジェクションの事例」と「プロンプトインジェクションの対策」について解説が行われ、配付資料として公開されている。
公開された「プロンプトインジェクションの事例」では、プロンプトインジェクション攻撃を「直接型」と「間接型」に大別し定義するとともに、「直接型プロンプトインジェクションの事例」として、2023年のBing Chatと2025年のCPR確認のマルウェアの2つの事例を、「間接型プロンプトインジェクションの事例」として、2025年のM365 Copilotと論文内に秘密の命令文の2つの事例を紹介している。
「プロンプトインジェクションの対策」では、対策を下記3つに大別した上で、各対策を組み合わせて多層防禦することが重要であるとしている。
・AI内部対策:LLMが細工されたプロンプトに従わないようにする対策
・AI入口対策:細工されたプロンプトや外部参照情報を精査する対策
・AI出口対策:LLMが生成した回答を外部に出力する前に精査する対策
