三井物産セキュアディレクション株式会社（MBSD）は11月6日、有料版のChatGPT（GPT-4、Plus）でテストサイトに存在するWebアプリケーションの脆弱性を探させる試みの結果について、同社ブログで発表した。同社プロフェッショナルサービス事業部の寺田健氏が解説している。
寺田氏はソースコード診断におけるChatGPTの長所として、「ペイロードの作成能力（DOMXSS）」「ロジックの理解力」「拡張性」の3点を挙げている。
「ペイロードの作成能力（DOMXSS）」については、寺田氏が実際に質問した結果から、ChatGPTに下記の能力があることが判明したとしている。
・脆弱性/攻略法についての一般知識
・コードから読み取った処理内容をもとに脆弱性を発見する
・コードの処理内容にあわせたペイロードを組み立てる
寺田氏は同様に、Google Bard、Snyk、Burpで試した結果からも、同じLLMである Google Bard と比べると、ChatGPT（OpenAI）にはCodex、Github Copilot などの蓄積があり、コードの解析と組み立て（ペイロード作成を含む）に関して一歩先をいっていると考察している。
また寺田氏は、ChatGPTの短所としては「入力サイズの制限が厳しい」「外部サーバにソースコードを送信する必要がある」「不正確な検出結果（偽陽性/偽陰性）」の3点を挙げている。
