OpenAIのGPT-4はセキュリティ勧告を読ませるだけで実際の脆弱性を自律的に攻撃することが出来た

GPT-4は、OpenAIによって作られた2024年4月初旬時点では最新のマルチモーダル大規模言語モデル（LLM）だ。この基盤モデル（Foundation Model）は、ChatGPTの有料サブスクリプションプラン「ChatGPT Plus」の顧客が主にアクセス可能だが、その高い能力は、外部の人間の支援を必要とせずにセキュリティの脆弱性を特定することにおいて顕著な能力を示すことが明らかになっている。

研究者はこれまでもLLMとAIチャットボットが、自己複製型コンピュータ・ワームを伝播させるなど、非常に悪意のある目的のために操作する能力を有している事を実証した。今回イリノイ大学アーバナ・シャンペーン校（UIUC）の研究者らが示した新たな研究は、現在最も高度なLLMであるGPT-4が、セキュリティ勧告を読み込むだけで、実世界のシステムの脆弱性を自律的に悪用することができると報告している。

「これを示すために、我々は15の脆弱性のデータセットを収集した。その中には、CVEの説明の中で重要度に分類されているものも含まれている」と、論文では述べられている。読み込ませたデータセットは上記の様に非常に小さなサンプルであるため、今後はその点に注意する必要がある。

研究者らは、OpenAIの商用製品、オープンソースのLLM、ZAPやMetasploitのような脆弱性スキャナを含む様々なモデルについて、Webサイトのバグ、コンテナの欠陥、脆弱なPythonパッケージに関連する15のゼロデイ脆弱性（公開された物のパッチが適用されていない脆弱性であり、有効な対策をとるために使える時間が「ゼロデイ (0日)」しかないことに由来して、こう呼ばれる）のデータベースとLLMを比較した。研究者らは、これらの脆弱性の半数以上が、それぞれのCVE（Common Vulnerabilities and Exposures: 共通脆弱性識別子のこと。脆弱性等に一意に番号を付与してリスト化した辞書）の説明において「深刻度が高い」または「致命的」に分類されていることに注目した。さらに、テスト時点では、利用可能なバグフィックスやパッチは存在しなかった。

その結果、GPT-4はテストされた脆弱性の87％を突くことができたという。更に注目すべき結果として、GPT-3.5を含む他のモデルでは成功率は0％だった。

UIUCのDanielle Kang助教授は、GPT-4が、オープンソースのスキャナーが検出できない場合でも、ゼロデイ脆弱性を自律的に悪用できることを強調した。OpenAIはすでにGPT-5に取り組んでおり、Kang氏は「LLMエージェント」がスクリプトキディや自動化愛好家の間で脆弱性悪用やサイバー犯罪を民主化する強力なツールになると予測している。

しかし、公開されたゼロデイ脆弱性を効果的に悪用するためには、GPT-4は、埋め込まれたリンクを通じて、完全なCVE記述と追加情報にアクセスする必要がある。Kang氏が提案する潜在的な緩和策の1つは、セキュリティ組織が脆弱性に関する詳細なレポートの公開を控えることで、GPT-4の悪用の可能性を制限することである。実際、GPT-4は関連するCVE記述へのアクセスを拒否すると、その成功率は87％からわずか7％に低下したという。

とはいえ、研究者やアナリストの間では意見が分かれるかもしれないが、Kang氏は「曖昧さによるセキュリティ」アプローチの有効性を疑っている。その代わりに彼は、最新の「武器化」されたチャットボットがもたらす脅威によりよく対抗するために、定期的なパッケージの更新など、よりプロアクティブなセキュリティ対策を提唱している。

論文

arXiv: LLM Agents can Autonomously Exploit One-day Vulnerabilities

参考文献

The Register: OpenAI’s GPT-4 can exploit real vulnerabilities by reading security advisories

研究の要旨

LLMは、その善意的な使用においても悪意ある使用においても、ますます強力になってきている。能力の向上に伴い、研究者はサイバーセキュリティの脆弱性を悪用する能力にますます関心を寄せている。特に最近の研究では、LLMエージェントが自律的にウェブサイトをハッキングする能力について予備的な研究が行われている。しかし、これらの研究は単純な脆弱性に限られている。
本研究では、LLMエージェントが実世界のシステムにおける1日限りの脆弱性を自律的に悪用できることを示す。これを示すために、CVEの記述で重大度に分類されたものを含む15の1日脆弱性のデータセットを収集した。CVE記述が与えられたとき、GPT-4はこれらの脆弱性の87%を悪用することができました。これに対して、私たちがテストした他のすべてのモデル（GPT-3.5、オープンソースのLLM）やオープンソースの脆弱性スキャナ（ZAPとMetasploit）は0%でした。幸いなことに、我々のGPT-4エージェントは高いパフォーマンスを発揮するためにCVEの記述を必要とします：記述なしでは、GPT-4は脆弱性の7%しか悪用できません。我々の発見は、高い能力を持つLLMエージェントの広範な配備に関する疑問を提起している。