機械学習アルゴリズムに脆弱性(JVN) | ScanNetSecurity
2020.06.01(月)

機械学習アルゴリズムに脆弱性(JVN)

IPAおよびJPCERT/CCは、勾配降下法を用いて学習を行う機械学習モデルに対して、意図的に誤った識別をさせるような入力を作成することが可能な問題が存在すると「JVN」で発表した。

脆弱性と脅威 セキュリティホール・脆弱性
独立行政法人 情報処理推進機構(IPA)および一般社団法人 JPCERT コーディネーションセンター(JPCERT/CC)は3月25日、勾配降下法を用いて学習を行う機械学習モデルに対して、意図的に誤った識別をさせるような入力を作成することが可能な問題が存在すると「Japan Vulnerability Notes(JVN)」で発表した。問題はアルゴリズムに存在するため、特定の製品が対象となるわけではない。

勾配降下法を用いて学習させたモデルを用いた分類を行う場合に、任意の分類結果が得られるような入力を意図的に作成することが可能。これは、Kumar et al.による攻撃分類では、「perturbation attacks」や「adversarial examples in the physical domain」に該当する。現在のところ、次のような事例が知られている。

・音声からテキストへの自動変換システムに対し、任意の結果に誤変換させることが可能であることを実証
・写真データを使った顔認識システムに対し、照明操作、眼鏡着用、写真データ加工などによって意図的に誤認識させることが可能であることを実証
・2019年3月に発表された論文では、車線認識機能を持つ Tesla Autopilot に対し、実験用走行環境ではあるが、路面に貼られたステッカーによって意図的に車線変更させる実験に成功。また、2020年1月に発表された論文では、同様の手法がドローンなどによる路面への投影によっても可能であることを実証

JVNでは、「攻撃に使われる入力に対し適切な結果を返すように学習させること」および「多層防御を実戦すること」を推奨している。

《吉澤 亨史( Kouji Yoshizawa )》

関連記事

PageTop

特集

アクセスランキング

  1. 今後Nコムは旧サービスにも最新セキュリティ対策実施、撤去予定サーバ経由の不正アクセス発生受け(NTT Com)

    今後Nコムは旧サービスにも最新セキュリティ対策実施、撤去予定サーバ経由の不正アクセス発生受け(NTT Com)

  2. 日本はランサムウェア暗号化成功率世界最悪、復旧費用は世界2位の高額(ソフォス)

    日本はランサムウェア暗号化成功率世界最悪、復旧費用は世界2位の高額(ソフォス)

  3. セキュリティ診断の「切り込み隊長」、イエラエセキュリティが拓くフォレンジックの先にある地平

    セキュリティ診断の「切り込み隊長」、イエラエセキュリティが拓くフォレンジックの先にある地平

  4. 楽天を騙るフィッシングメールを確認、注意喚起を発表(フィッシング対策協議会)

    楽天を騙るフィッシングメールを確認、注意喚起を発表(フィッシング対策協議会)

  5. メール配信プログラムのコーディングミス重なる、原価マスク販売で誤送信(トリニティ)

    メール配信プログラムのコーディングミス重なる、原価マスク販売で誤送信(トリニティ)

  6. iOSに“脱獄”につながる未対策の脆弱性(JVN)

    iOSに“脱獄”につながる未対策の脆弱性(JVN)

  7. 問い合わせフォームを悪用した不正メールに注意喚起、発信元IP特定し遮断(船橋市)

    問い合わせフォームを悪用した不正メールに注意喚起、発信元IP特定し遮断(船橋市)

  8. IoTと5Gのセキュリティ対策進捗状況(総務省)

    IoTと5Gのセキュリティ対策進捗状況(総務省)

  9. Scan BASIC 登録方法

    Scan BASIC 登録方法

  10. 外部から不正にWebサイトのプログラム書き換え(高知県言語聴覚士会)

    外部から不正にWebサイトのプログラム書き換え(高知県言語聴覚士会)

ランキングをもっと見る