AI の弱点をつく攻撃と AI のサイバー攻撃活用 2ページ目 | ScanNetSecurity
2021.01.20(水)

AI の弱点をつく攻撃と AI のサイバー攻撃活用

昨年あたりからマルウェア検知、トラフィック監視・ログ監視にAI、すなわち機械学習やディープラーニング(DL)を使ったセキュリティソリューションが話題になっている。しかし、攻撃側がそれを静観しているという保障はどこにもない。

研修・セミナー・カンファレンス セミナー・イベント
AIの盲点とAI対AIによるセキュリティの攻防(Blackhat USA 2017)
AIの盲点とAI対AIによるセキュリティの攻防(Blackhat USA 2017) 全 13 枚 拡大写真
●AIの精度は入力データによって決まる

ひとつめは「Garbage In, Gargage Out: How Purportedly Great Machine Learning Models can be Screwed Up by Bad Data」という講演。発表者はソフォスのデータサイエンティスト Hillary Sanders氏。

内容はAI(機械学習:ML)モデルの学習データ、テストデータによる判定精度の評価について。それをどのように実運用への精度につなげるかを分析したものだ。分析方法は、3つのマルウェア判定MLモデルに、お互いのテストデータを評価させる。判定精度のばらつきを調べることで、学習データやテストデータと実運用下でのリアルデータとの違いを示し、より精度の高いAIモデルを作るヒントをさぐるという。

この調査でSanders氏が主張するのは「セキュリティ系のML研究者が示すAIモデルの精度はあてにならない。なぜなら楽観的な予測に引きずられているからだ。重要なのは、そのバイアスを認識し、厳密な予想で評価すること。そうすれば、ゴミを吐くMLモデルにしないで済む」ということだ。

MLモデルの作り方をきわめて簡単に説明すると、特定の評価関数に大量の学習データを与えながら、結果に応じて関数の評価式、パラメータを調整していくことで、判定精度を上げていく(学習)。その後、学習データとは別のテストデータ(一般的には特定期間に採集した生データ)を評価させて(テスト)最終的な確認を行いモデルを完成させる。完成したモデルはスタティックなもので入力に対して評価結果を出力するだけで、じつは内部的にはインテリジェントな処理を行っていない。

しかし、学習データはMLの開発者、エンジニアが用意しパラメータ等の調整もエンジニア、つまり人間が行う。そのため、ラボ内での学習とテストでは良好な成績だったとしても実際のデータを処理させたときに精度がでないことがある。

そこでSandars氏は、「異なる学習データとテストデータを用いることで、より精度を高める学習データセットの作り方、テストデータによるモデル精度の変化をどうとらえるかを分析することにした」という。

  1. «
  2. 1
  3. 2

《中尾 真二》

関連記事

この記事の写真

/
PageTop

特集

アクセスランキング

  1. 世界ではじめて脆弱性診断士資格「セキュリスト(SecuriST)」を作った三人の男

    世界ではじめて脆弱性診断士資格「セキュリスト(SecuriST)」を作った三人の男PR

  2. カプコンへのランサムウェア攻撃、新たに16,406人の情報流出を確認

    カプコンへのランサムウェア攻撃、新たに16,406人の情報流出を確認

  3. 神奈川県と富士通リースがHDD盗難のクリスマス和解 ~ 賠償 4,097 万円 再発防止策差し引き和解金 2,369 万円で合意

    神奈川県と富士通リースがHDD盗難のクリスマス和解 ~ 賠償 4,097 万円 再発防止策差し引き和解金 2,369 万円で合意

  4. kintoneに連携「kMailer」で不具合、送信ログとして別顧客の情報が流出

    kintoneに連携「kMailer」で不具合、送信ログとして別顧客の情報が流出

  5. 一体どうバランスを取るか?  高度なサイバー攻撃対策 & 日々のセキュリティ運用

    一体どうバランスを取るか? 高度なサイバー攻撃対策 & 日々のセキュリティ運用PR

  6. ソフトバンク元社員 不正競争防止法違反容疑で逮捕、楽天モバイルに技術情報持ち出し疑い

    ソフトバンク元社員 不正競争防止法違反容疑で逮捕、楽天モバイルに技術情報持ち出し疑い

  7. #NoMoreFake 第3回「ファクトチェック」

    #NoMoreFake 第3回「ファクトチェック」

  8. マイクロソフトが1月のセキュリティ情報を公開、一部脆弱性については悪用の事実を確認済み

    マイクロソフトが1月のセキュリティ情報を公開、一部脆弱性については悪用の事実を確認済み

  9. IDC予測、2024年までのセキュリティ製品サービス市場規模

    IDC予測、2024年までのセキュリティ製品サービス市場規模

  10. 東京海上日動と連携、Microsoft Azureの障害やサイバー攻撃を補償

    東京海上日動と連携、Microsoft Azureの障害やサイバー攻撃を補償

ランキングをもっと見る