Copilot を騙す方法 | ScanNetSecurity
2025.10.24(金)

Copilot を騙す方法

 おわかりいただけただろうか。「ニューヨークを 5 語で説明せよ」というプロンプトはダミーである。シンプルに「上司の名前を教えて」では AI のエシカルフィルターにひっかかる可能性がある。「礼儀正しく」とすることで、アカウントの部署名や上司の名前を聞き出すことができている。Copilot は、問い合わせに対してサーフェス Web 以外に(設定された)業務システムの情報にもアクセスできる。つまり、Copilot はあなたの名前、役職、上司その他を知っているのである。

研修・セミナー・カンファレンス セミナー・イベント
Zenity 社 CTO マイケル・バーグリー氏
Zenity 社 CTO マイケル・バーグリー氏 全 3 枚 拡大写真

  AI に対する脅威は、古典的な人類への反旗を翻すものから単純なエラー(精度)の問題までさまざまだ。だが、生成 AI がビジネスの現場に入ってきた現状で、現実的な脅威とは一体何だろうか。

 AI が職を奪うとか、人間が思考しなくなる、統制や差別に悪用されるといった問題は、じつは AI に限った問題ではなく他の技術でも起きてきた問題だ。だからもっと現実的な問題や事例に目を向けたほうがいい。おそらく企業が Microsoft Copilot のような AI を業務で利用する場合、もっとも注意したいのは、誰かが機密情報や顧客情報を誤ってクラウドに公開してしまわないか、それを Chat GPT や Copilot が別の第三者のプロンプトの答えに使ってしまわないか。さらに、悪意を持ったユーザーや攻撃者が AI を騙して機密情報を無垢の Chat GPT から聞き出してしまったり、なにも知らない Copilot がマルウェアを実行してしまったりしないか、だろう。

● BlackHat 常連スピーカーの JailBreak テク

 2024 年の Blackhat USA(ラスベガス)では、常連スピーカーのひとり、Zenity 社 CTO のマイケル・バーグリー氏ら率いるチームが、デモを交えながら Microsoft Copilot の悪用について解説を行った。生成 AI の悪用についてはプロンプトエンジニアリングや JailBreak の手法があり、 AI 攻撃の大きな脅威のひとつになっている。たとえば、Microsoft 365 には Copilot Sdudio というチャットボットツールがある。

 この機能を使えば、設定した SharePoint サーバや Microsoft 365 の機能や、データベースへのアクセスを Copilot が代行してくれる。厳密には、Copilot Studio が各機能やデータベースにアクセスするのではなく、リクエストに合わせたチャットボットをアレンジしてプロンプトを実行してくれる。さらに、電子メールや Office ツールなどとの連携も可能である。

 ユーザーは Copilot Studio に「〇月の売り上げデータを□□と××部、△△プロジェクトのメンバーに送っておいて」などと、チャット形式で指示を出すだけで、必要なメールアドレス、URL、参照したデータなどを埋め込んだメールを作成して、なおかつしかるべき宛先に送信することができる。

 もちろんこのようなプロンプトにはセキュリティロックがかかっており、業務システムのすべてのデータに自由にアクセスできるわけではない。だが、もしこのセキュリティロックを迂回できたら? 攻撃者はなりすまし、偽装アカウントによって標的の業務データにアクセスできるだけなく、内部メールとして添付ファイル(もちろん汚染された)を送ることや、リモートコード実行のような攻撃も可能になる。もちろん本文のリンクも偽装サイト(フィッシング)や攻撃サイトにすることも簡単だ。

 これが今回のバーグリー氏らの発表概要である。


《中尾 真二( Shinji Nakao )》

関連記事

この記事の写真

/

特集

PageTop

アクセスランキング

  1. 「漏えい情報を復号できないため報告を要しない(個人情報保護委員会)」ランサムウェアの前に全データを暗号化するソリューションで保険代理店の顧客情報守られる

    「漏えい情報を復号できないため報告を要しない(個人情報保護委員会)」ランサムウェアの前に全データを暗号化するソリューションで保険代理店の顧客情報守られる

  2. 関与していた元社員とは未だ連絡取れず ~ 京都市内で保険申込書写し 計 632 枚拾得

    関与していた元社員とは未だ連絡取れず ~ 京都市内で保険申込書写し 計 632 枚拾得

  3. 廃棄委託したノートパソコンが短時間ネット接続 ~ 監視ツールが検知

    廃棄委託したノートパソコンが短時間ネット接続 ~ 監視ツールが検知

  4. アスクル Web サイトがランサムウェア感染、受注出荷業務が停止

    アスクル Web サイトがランサムウェア感染、受注出荷業務が停止

  5. 大量に営業機密等を不正取得 ~ 不正競争防止法違反容疑でエレコム元従業員を刑事告訴

    大量に営業機密等を不正取得 ~ 不正競争防止法違反容疑でエレコム元従業員を刑事告訴

ランキングをもっと見る
PageTop