人かＡＩか？生成方法別フィッシングメール打率比較

　マルウェアの大量生産からスパムメール文案まで攻撃者が AI を利用するのはもはや前提条件になっている。防御側も当然、AI や大規模言語モデルをマルウェア判定やセキュリティ対策に活用する。この対決の構図をフィッシングメールに適用した論文が存在する。

● 4 つの異なる手法で作成されたフィッシングメール文案

　論文は、Fredrik Heiding 氏、かの Bruce Schneier 氏、Arun Vishwanath 氏、Jeremy Bernstein 氏の 4 名によって書かれたもの。ハーバート、および MIT の AI 専門家とセキュリティ界の重鎮らが名を連ねている。

彼らは、

１）フィッシングメールのデータベース
２）大規模言語モデル（LLM）
３）人間が作成したフィッシングメールモデル（V-Triad）
４）LLM と V-Triad の組み合わせ

という 4 つの手法で生成したフィッシングメールの成功率を比較検討する実験を行った。

　その結果は論文としてまとめられているが、2023 年夏の Black Hat USA では、Fredrik Heiding 氏がスピーカーとなって発表も行われた。

　論文チームは、AI（LLM：大規模言語モデル）は、何かを尋ねるために有効に機能するが、人を騙すことにも長けている点に着目した。もちろん、AI が意図的に人を騙しているわけではないが、LLM が出力するもっともらしい文章が正しいことを言っているように見えるということだ。

● AI はどれだけ人を騙せるか、そしてどれだけウソを見抜けるか

　事実、スパムメールやフィッシングメールなど詐欺メール作成に LLM を悪用する話はよく耳にする。研究論文も多く（この論文もそのひとつとえいる）、AI で作成したフィッシングの攻撃実験は、さまざまなセキュリティベンダーや研究者によって実施されており、その有効性の高さも指摘されているところだ。明確に AI が作成したフィッシングメール攻撃は確認できないが、攻撃者が利用していても何ら不思議はない。アンダーグラウンドでは話題にならないくらい一般化している可能性さえある。

　彼らの研究が、これらの先行研究の単なる後追いなら Black Hat USA には採択されない。上記の 4 つの手法で作成したメールの成功率だけでなく、被害者のアンケート調査（自由回答）の分析と、主要 LLM のうち4つ（GPT、PaLM、LLaMA、Anthropic）について作成したフィッシングメールの検知実験も行っている。

　類似の実験では「AI 作成のフィッシングは見分けがつかない」「成功率が高い」といった結果にとどまっていることが多い。だがこの論文では、AI 作成フィッシングメールの「品質評価」に加え、人力と AI 作成メールに対して AI がどの程度、真贋や意図を判定できるかにまで踏み込んで調べた。

●実験に使われたフィッシングメールの作り方

　4 つの手法のうち、1 番目の既存のフィッシングメールをそのまま使う実験は、対照群（コントロールグループ）として行われた。「馴染みのある」メールや手の込んだものなど、これまでフィッシングメールとして実際に使われ、蓄積されたものの成功率を調べる。

　2 番目の、LLM を利用したフィッシングメールは、Chat GPT を使って作成したメールを利用する。もちろん Chat GPT を始め既存チャットボットは、「フィッシングメールを生成して」と入力しても拒否される。倫理的でないプロンプトは出力を生成しないように学習されているからだ。だが、たとえば「Black Hat の参加者に、〇〇社のウェルカムパーティーの案内文を生成して。案内ページのリンクつきで」と入力すれば、フィッシングメールを生成することができる。

　3 つ目の V-Triad は、フィッシングメールを作成するためのモデルだ。目的が特化されているので、言語モデルとしては非常に小規模だ。V-Triad は次の 3 つの視点から、メールの文面を評価するという。

・経験則に基づく信頼性
・標的への互換性（習慣・行動）
・状況への拡張性

　最後は、一般的な大規模データセットによってチューニングした LLM（GPT-4）と、フィッシングメールに特化したデータセットで学習した AUI（V-Triad）の両方を使ってフィッシングメールを生成する方法である。

●攻撃は標的を絞ったスピアフィッシングで行う

　LLM でフィッシングメールを作る方法は簡単だ。標的を規定できる情報（例えばハーバードの学生、Black Hat USA 2023 の参加者等）を用意し、さきほど述べた手法で Chat GPT にメール本文を生成させる。V-Triad による生成は、人力で作成したフィッシングメールを、V-Triad によって標的に適合するよう調整する。

　「送信元」「名前」「ブランド名・サービス名」などに違和感がないように留意する。文面やフォーマットにも配慮する。事件や一般行事、組織固有イベントなども利用する。さらに「締め切り」「限定」「エラー」といったターゲットの行動を喚起するトリガーワードを盛り込む。細かいところでは、モバイルデバイスでの開封確率が高まる金曜の夜を狙う、といったモデルもある。

　以上の方法で生成した 4 種のフィッシングメールを送信するわけだが、その前に標的情報の収集フェーズがある。標的の情報は SNS など基本的な OSINT で得られたという。その情報をもとにチューニングされたメールを生成する。あとは被験者に送信して結果を分析する。被験者には簡単なアンケート（フリーテキスト）をとり、開封の理由や状況を調査する。ちなみに被験者数は 112 名だったという。