画像生成 AI への攻撃と対策、MBSD Blog がマニアック解説 | ScanNetSecurity
2024.04.14(日)

画像生成 AI への攻撃と対策、MBSD Blog がマニアック解説

 三井物産セキュアディレクション株式会社(MBSD)は10月31日、DALL-E 2などの画像生成AIに対する敵対的攻撃について、同社ブログで発表した。

調査・レポート・白書・ガイドライン 調査・ホワイトペーパー

 三井物産セキュアディレクション株式会社(MBSD)は10月31日、DALL-E 2などの画像生成AIに対する敵対的攻撃について、同社ブログで発表した。文字数約9,000文字、掲載図版30点超と、同社ブログらしいいつもの偏執狂的情熱で網羅的かつ徹底解説されている。

 Stable DiffusionやDALL-E 2といった画像生成AIは、人々を不快にする暴力、ハラスメントなどの画像や欺瞞、プロパガンダ、公人の評判を貶めるなどの有害画像を悪意を持って生成されるリスクがあり、そのために「Safety Filter」が実装され、有害画像を生成・表示しないようにしている。

 同ブログでは、主にDALL-E 2のSafety Filterをbypassする主な攻撃手法としてMacaronic Prompting攻撃、Evocative Prompting攻撃、Prompt Dilution攻撃、Replace Prompting攻撃を挙げ、解説を行っている。

 同ブログによると、Macaronic Prompting攻撃は複数の異なる言語の単語を部分的に組み合わせることで独自の造語を作成し、Safety Filterのbypassを試みる攻撃手法で、人間には理解できないにもかかわらず、DALL-E 2に狙った画像を生成させることができる。

 またReplace Prompting攻撃では、狙った画像を遠回しに指し示す単語を配置することで、Safety Filterのbypassを試みる攻撃手法で、Safety Filterにブロックされる単語を別単語に置き換えることで、DALL-E 2に狙った画像を生成させることができる。

 同ブログでは、これらの攻撃への対策として、学習データから有害画像を除外する、ホワイトリストで不適切な単語を除外する、CLIP画像埋め込みの類似度を計算する、検閲用の画像分類器を使用する等を挙げ、解説している。

《高橋 潤哉》

関連記事

特集

PageTop

アクセスランキング

  1. 山田製作所にランサムウェア攻撃、「LockBit」が展開され複数のサーバのデータが暗号化

    山田製作所にランサムウェア攻撃、「LockBit」が展開され複数のサーバのデータが暗号化

  2. マリンネットサイトに SQL インジェクション攻撃、メールアドレス流出

    マリンネットサイトに SQL インジェクション攻撃、メールアドレス流出

  3. プルーフポイント、マルウェア配布する YouTube チャンネル特定

    プルーフポイント、マルウェア配布する YouTube チャンネル特定

  4. レンズの受注や製造を停止 ~ HOYAグループで不正アクセスに起因する可能性が高いシステム障害

    レンズの受注や製造を停止 ~ HOYAグループで不正アクセスに起因する可能性が高いシステム障害

  5. お茶の水女子大学の研究室サーバに不正アクセス、攻撃の踏み台に

    お茶の水女子大学の研究室サーバに不正アクセス、攻撃の踏み台に

  6. デロイトと JFEスチール、サイバーセキュリティの合弁会社設立

    デロイトと JFEスチール、サイバーセキュリティの合弁会社設立

  7. 悪夢の検証 大英図書館ランサムウェア ~ 過ちが語る普遍的な物語

    悪夢の検証 大英図書館ランサムウェア ~ 過ちが語る普遍的な物語

  8. 北海道信用金庫の職員が業務関係書類を自宅に持ち帰り、定例の内部監査で発覚

    北海道信用金庫の職員が業務関係書類を自宅に持ち帰り、定例の内部監査で発覚

  9. 北九州市立大学の教員のパソコンに遠隔操作、ファイルを閲覧された可能性

    北九州市立大学の教員のパソコンに遠隔操作、ファイルを閲覧された可能性

  10. 日本信用情報機構、第三者に信用情報を開示 ~ 本人確認書類偽造によるなりすまし

    日本信用情報機構、第三者に信用情報を開示 ~ 本人確認書類偽造によるなりすまし

ランキングをもっと見る