機械学習アルゴリズムに脆弱性（JVN）

IPAおよびJPCERT/CCは、勾配降下法を用いて学習を行う機械学習モデルに対して、意図的に誤った識別をさせるような入力を作成することが可能な問題が存在すると「JVN」で発表した。

脆弱性と脅威セキュリティホール・脆弱性

2020.3.27 Fri 8:05

独立行政法人情報処理推進機構（IPA）および一般社団法人 JPCERT コーディネーションセンター（JPCERT/CC）は3月25日、勾配降下法を用いて学習を行う機械学習モデルに対して、意図的に誤った識別をさせるような入力を作成することが可能な問題が存在すると「Japan Vulnerability Notes（JVN）」で発表した。問題はアルゴリズムに存在するため、特定の製品が対象となるわけではない。

勾配降下法を用いて学習させたモデルを用いた分類を行う場合に、任意の分類結果が得られるような入力を意図的に作成することが可能。これは、Kumar et al.による攻撃分類では、「perturbation attacks」や「adversarial examples in the physical domain」に該当する。現在のところ、次のような事例が知られている。

・音声からテキストへの自動変換システムに対し、任意の結果に誤変換させることが可能であることを実証
・写真データを使った顔認識システムに対し、照明操作、眼鏡着用、写真データ加工などによって意図的に誤認識させることが可能であることを実証
・2019年3月に発表された論文では、車線認識機能を持つ Tesla Autopilot に対し、実験用走行環境ではあるが、路面に貼られたステッカーによって意図的に車線変更させる実験に成功。また、2020年1月に発表された論文では、同様の手法がドローンなどによる路面への投影によっても可能であることを実証

JVNでは、「攻撃に使われる入力に対し適切な結果を返すように学習させること」および「多層防御を実戦すること」を推奨している。

《吉澤亨史（ Kouji Yoshizawa ）》