画像生成 AI への攻撃と対策、MBSD Blog がマニアック解説 | ScanNetSecurity
2024.07.27(土)

画像生成 AI への攻撃と対策、MBSD Blog がマニアック解説

 三井物産セキュアディレクション株式会社(MBSD)は10月31日、DALL-E 2などの画像生成AIに対する敵対的攻撃について、同社ブログで発表した。

調査・レポート・白書・ガイドライン 調査・ホワイトペーパー

 三井物産セキュアディレクション株式会社(MBSD)は10月31日、DALL-E 2などの画像生成AIに対する敵対的攻撃について、同社ブログで発表した。文字数約9,000文字、掲載図版30点超と、同社ブログらしいいつもの偏執狂的情熱で網羅的かつ徹底解説されている。

 Stable DiffusionやDALL-E 2といった画像生成AIは、人々を不快にする暴力、ハラスメントなどの画像や欺瞞、プロパガンダ、公人の評判を貶めるなどの有害画像を悪意を持って生成されるリスクがあり、そのために「Safety Filter」が実装され、有害画像を生成・表示しないようにしている。

 同ブログでは、主にDALL-E 2のSafety Filterをbypassする主な攻撃手法としてMacaronic Prompting攻撃、Evocative Prompting攻撃、Prompt Dilution攻撃、Replace Prompting攻撃を挙げ、解説を行っている。

 同ブログによると、Macaronic Prompting攻撃は複数の異なる言語の単語を部分的に組み合わせることで独自の造語を作成し、Safety Filterのbypassを試みる攻撃手法で、人間には理解できないにもかかわらず、DALL-E 2に狙った画像を生成させることができる。

 またReplace Prompting攻撃では、狙った画像を遠回しに指し示す単語を配置することで、Safety Filterのbypassを試みる攻撃手法で、Safety Filterにブロックされる単語を別単語に置き換えることで、DALL-E 2に狙った画像を生成させることができる。

 同ブログでは、これらの攻撃への対策として、学習データから有害画像を除外する、ホワイトリストで不適切な単語を除外する、CLIP画像埋め込みの類似度を計算する、検閲用の画像分類器を使用する等を挙げ、解説している。

《高橋 潤哉》

特集

関連記事

PageTop

アクセスランキング

  1. レッドチーム演習大成功 丸五か月間誰も気づけず

    レッドチーム演習大成功 丸五か月間誰も気づけず

  2. ベルシステム24 のベトナム子会社に不正アクセス、コールセンター受託業務での顧客情報漏えいの可能性

    ベルシステム24 のベトナム子会社に不正アクセス、コールセンター受託業務での顧客情報漏えいの可能性

  3. 東京海上日動火災保険 提携先の税理士法人にランサムウェア攻撃

    東京海上日動火災保険 提携先の税理士法人にランサムウェア攻撃

  4. 富士通の複数の業務パソコンに高度な手法で攻撃を行うマルウェア、複製指示のコマンドを実行し拡大

    富士通の複数の業務パソコンに高度な手法で攻撃を行うマルウェア、複製指示のコマンドを実行し拡大

  5. ランサムウェア集団が謝罪

    ランサムウェア集団が謝罪

ランキングをもっと見る
PageTop