不正な目的のために独自の大規模言語モデル（LLM）を訓練する必要はなくなった。認証情報を盗み、元の設定をジェイルブレイクする方がはるかに安上がりで簡単なのだ。犯罪者たちがそれに気づいてしまった今、生成 AI を使用した大規模なサプライチェーン攻撃の脅威は、より現実味を帯びてきた。
いいや。最初のアクセスから事業活動の停止まですべてを AI が生成した攻撃について議論しているのではない。犯罪者は、技術的にまだその域には到達していない。しかし、LLM が得意とするようになっていることのひとつにソーシャルエンジニアリング・キャンペーンの補助がある。
これを根拠として米空軍の元情報アナリストであり Sysdig でサイバーセキュリティ・ストラテジストを務めるクリスタル・モリン氏は、LLM が生成したスピアフィッシングからのサプライチェーン攻撃は 2025 年に大きな成功を収めると予測している。
LLM の使用に関しては、「脅威アクターは、我々とちょうど同じように学び、理解を深め、状況を探っています」と、モリン氏は本誌に語った。「追いかけっこをしている状態で、マシン対マシンの闘いだ」
コンテナセキュリティを提供する Sysdig 社は 2024 年に他の研究組織と協力し、盗んだクラウド認証情報を LLM へのアクセスに使用している犯罪者の増加を記録した。5 月に Sysdig は、アンソロピック社製LLMモデルの「Claude」を標的とする攻撃者を記録した。
攻撃者は盗んだアクセスを悪用して LLM のトレーニングデータを抽出することもできた。しかし、この種の攻撃における彼らの主な目的は、他の犯罪者にアクセスを販売することだったようだ。その結果、標的となったクラウドアカウントの所有者は料金を負担する羽目に陥った。LLM の関連費用として 1 日あたり 46,000 ドルという高額な支払いを求められたのである。
このケースを掘り下げた研究者は、攻撃に使われたより広範なスクリプトが、10 種類の異なる AI サービス（「AI 21 Labs」「Anthropic」「AWS Bedrock」「Azure」「ElevenLabs」「MakerSuite」「Mistral」「OpenAI」「OpenRouter」「GCP Vertex AI」）で認証情報を照合できることを発見した。
2024 年の後半に Sysdig は、盗んだ認証情報で LLM を起動しようとしている攻撃者を見つけた。
脅威リサーチチームは、モデルへのアクセスを違法に取得する試みを「LLM ジャッキング」と呼んでいる。そして 9 月には、この種の攻撃が「増加しており、7 月には LLM へのリクエストが 10 倍になり、2024 年上半期には、これらの攻撃に関与するユニークIPアドレスの数が 2 倍になった」と報告した。
Sysdig によるとこうした事例は、被害者が多額の費用を負担するだけでは済まない。「Claude 3 Opus」のような新しいモデルを使用している場合、被害額が 1 日当たり 10 万ドルを超えることもあるというのだ。
さらに被害者は、そうした攻撃を止めるための人件費や技術費用の支払いを余儀なくされている。また、エンタープライズ LLM が武器化され、さらなる潜在的費用の発生につながるというリスクもある。
