画像生成 AI への攻撃と対策、MBSD Blog がマニアック解説

　三井物産セキュアディレクション株式会社（MBSD）は10月31日、DALL-E 2などの画像生成AIに対する敵対的攻撃について、同社ブログで発表した。文字数約9,000文字、掲載図版30点超と、同社ブログらしいいつもの偏執狂的情熱で網羅的かつ徹底解説されている。

　Stable DiffusionやDALL-E 2といった画像生成AIは、人々を不快にする暴力、ハラスメントなどの画像や欺瞞、プロパガンダ、公人の評判を貶めるなどの有害画像を悪意を持って生成されるリスクがあり、そのために「Safety Filter」が実装され、有害画像を生成・表示しないようにしている。

　同ブログでは、主にDALL-E 2のSafety Filterをbypassする主な攻撃手法としてMacaronic Prompting攻撃、Evocative Prompting攻撃、Prompt Dilution攻撃、Replace Prompting攻撃を挙げ、解説を行っている。

　同ブログによると、Macaronic Prompting攻撃は複数の異なる言語の単語を部分的に組み合わせることで独自の造語を作成し、Safety Filterのbypassを試みる攻撃手法で、人間には理解できないにもかかわらず、DALL-E 2に狙った画像を生成させることができる。

　またReplace Prompting攻撃では、狙った画像を遠回しに指し示す単語を配置することで、Safety Filterのbypassを試みる攻撃手法で、Safety Filterにブロックされる単語を別単語に置き換えることで、DALL-E 2に狙った画像を生成させることができる。

　同ブログでは、これらの攻撃への対策として、学習データから有害画像を除外する、ホワイトリストで不適切な単語を除外する、CLIP画像埋め込みの類似度を計算する、検閲用の画像分類器を使用する等を挙げ、解説している。