NVIDIAのJensen Huang（黃仁勳）CEOが2026年10月22日、ベルリンで開かれた同社の会議で、AIが人類を滅ぼすという警告を「安易」だと批判したとAFPが報じた。Huang氏はAIの開発を積極的に進めるべきだと訴え、責任ある楽観主義を呼びかけている。一方、NVIDIAはこれに先立ち、AIの安全研究に計算資源を提供する方針を表明するとともに、AIエージェントの動作環境を隔離・監視するための参照設計も公表している。将来の破滅的なリスクをめぐる議論と、現在のAIシステムで危険な動作を防ぐための技術を分けて考えると、NVIDIAが取り組む安全対策の対象と、その限界が見えてくる。
「安易な警告」への批判と、安全研究への資源提供
AFPの報道によると、Huang氏はAIが人類文明を終わらせると予告する言説について、注目を集めるための安易な主張だと批判した。さらに、持続可能な未来を望むのであれば、むしろAIを開発すべきだと訴えている。ただし、これはAIの将来に対するHuang氏の見解であり、報道された発言の中で、人類存亡に関わるリスクの大きさを検証する新たな実験結果が示されたわけではない。
一方、NVIDIAはAIの安全性を高めるための研究にも資源を投じている。同社は10月13日の発表で、英国におけるAIエージェントの安全性・セキュリティ研究を支援するため、今後5年間で総額2億5,000万ドル相当の計算資源を提供すると表明した。年間5,000万ドル相当の計算資源を研究者が利用できるようにする計画で、Huang氏も同じ発表の中で「AIの能力と安全性は、ともに進歩しなければならない」と述べている。
今回の支援は現金の拠出ではなく、研究者が計算基盤を利用できるようにするものだ。計算資源は英国に拠点を置くNVIDIA Cloud Partnersを通じて提供され、インフラも英国国内に設置されるという。支援の大部分は幅広い研究コミュニティを対象とし、一部はオックスフォード大学主導のBOLD、University College London（UCL）主導のSOFAIR、Imperial College Londonの研究に充てられる予定だ。ただし、提供事業者や技術構成、商業条件については今後合意するとされており、発表された金額をすでに支出された研究費と同一視することはできない。
こうした発言と取り組みを合わせて見ると、Huang氏はAIによる破滅を予告する主張には反論しながらも、より高度なAIの安全性を検証し、防御技術を改善する研究には積極的に資源を投じる立場にあると分かる。ただし、安全研究への支援を約束したことが、将来の危険性を否定する科学的根拠になるわけではない。
NVIDIAはAIエージェントの何を制御しようとしているのか
NVIDIAが10月21日に発表したOpenShell Reference Architectureは、企業のシステムで動作するAIエージェントの権限を制限し、その行動を監視するための参照設計だ。AIエージェントは従来のチャットAIと異なり、文章を生成するだけでなく、ファイルの書き換えや外部ツールの呼び出しなど、実際の操作を伴う作業を自律的に進める。そのため、生成する回答の正確さだけでなく、どのシステムに接続でき、何を変更する権限を持つかが安全性を大きく左右する。
NVIDIAが示した構成では、Vera RubinがAIモデルの推論処理を担い、Vera CPU上でAIエージェントを実行する。さらに、データ処理用プロセッサーのBlueField-4上でSentryを動作させ、エージェントの実行環境とは独立した場所から監視・制御する仕組みを組み合わせる。AIモデルが指示を守ることだけに頼るのではなく、計算基盤そのものに制御機能を設け、エージェントが実行できる操作を制限する考え方だ。
NVIDIAが2026年10月に公表した一連の発言や資料は、いずれもAIの安全性に関係するものだが、それぞれ扱っている問題は異なる。
| 同月の発言・公表資料 | 対象とする問い | 確認できることと限界 |
|---|---|---|
| 22日のHuang氏の発言を伝えたAFP報道 | AIは人類文明を終わらせるのか | Huang氏は破滅的な未来予測を批判した。ただし、発言自体は将来の安全性を科学的に立証するものではない |
| 13日の英国研究支援発表 | AIの防御技術をどう研究・検証するか | 計算資源の提供を約束した段階であり、研究成果や防御効果は今後の検証を待つ必要がある |
| 21日のOpenShell参照設計 | AIエージェントの実行をどう制御するか | 隔離と監視を組み合わせた設計を提示したが、あらゆる導入環境での有効性を独立した試験で実証したものではない |
| 21日更新の安全設計文書 | システムの侵害後や停止後に、どのような制御が有効なのか | 制御を適用する場所によって防御範囲が異なり、外部で完了した操作はエージェントを停止しても取り消せない |
この表は、NVIDIAが同月に示した見解や取り組みを、それぞれの対象と根拠の種類によって整理したものだ。安全対策の効果や事故の発生確率を、共通の指標で比較したものではない。参照設計が公表されたことと、実際の運用環境で危険な操作を阻止できることは別であり、その有効性については今後の検証が必要となる。
AIエージェントを隔離しても、完了した操作は取り消せない
NVIDIAの作業環境に関する設計文書では、誤ったファイルの書き換えや情報流出などを防御すべきリスクとして挙げている。文書やツールの出力に悪意のある指示を紛れ込ませ、AIエージェントを意図しない行動へ誘導する「プロンプトインジェクション」もその一つだ。利用者が適切な指示を与えていても、エージェントが後から読み込んだ資料に含まれる不正な指示によって、実行する操作が変わる可能性がある。
こうしたリスクに対応するため、NVIDIAの設計では、作業環境の外側で利用者や接続先を管理する制御と、実行中のプロセスやファイル操作に対する制御を区別している。外部との通信を制限することと、環境内部で許される操作を限定することは、それぞれ異なる役割を持つ。例えば、メールの内容を読み取る権限があるからといって、顧客情報を更新する権限まで認められるわけではない。エージェントに与える権限は、作業の目的や操作の種類に応じて細かく管理する必要がある。
実行環境を隔離する方法にも注意が必要だ。NVIDIAの説明によると、一般的なコンテナはホストOSのカーネルを共有するため、カーネルの脆弱性を悪用されると、同じホスト上のほかの処理にも影響が及ぶ可能性がある。そのため、AIモデルが生成した信頼できないコードを実行する場合には、仮想マシンを利用した隔離を推奨している。ただし、仮想マシンを採用するだけで安全対策が完成するわけではない。利用者の認証や操作の承認、権限の取り消しといった機能は、別途実装する必要がある。
さらに、作業環境のOSが管理者権限ごと侵害された場合、同じ環境内で動作する監視機能も信頼できなくなる。NVIDIAの安全・統制モデルでは、そうした状況でも有効な制御を、侵害された環境の外部から独立して適用できるものに限定している。監視用の機能や装置が存在するというだけでは、システムが侵害された後も危険な操作を阻止できるとは限らない。重要なのは、監視・制御を実行する基盤が、保護対象の環境からどの程度独立しているかだ。
また、AIエージェントを「停止する」という操作にも複数の意味がある。NVIDIAの文書では、ネットワークからの隔離、プロセスの停止、外部サービスに対する権限の取り消しを区別し、それぞれの結果を記録するよう求めている。例えば、エージェントが外部サービスに送信した操作がすでに受け付けられていた場合、その後にエージェントを停止しても、完了した処理まで自動的に取り消されるわけではない。危険な操作を途中で止められることと、すでに発生した変更を元に戻せることは、異なる能力なのである。
楽観的な見方を、実際の安全性の評価につなげるには
NVIDIA自身の設計文書でも、AIモデルの能力はリスクを評価する際の要素とされているが、モデルそのものを安全性を保証する境界とは位置づけていない。モデルが適切に指示を守ることを前提にするのではなく、エージェントに与える権限や接続先、取り扱うデータなどを組み合わせて安全性を評価する方針だ。こうした考え方は、Huang氏が示したAIの将来に対する楽観的な見方とは切り離して、企業がAIエージェントの導入を判断する際の基準となる。
企業が実際に確認すべきなのは、禁止した操作が外部ツールの呼び出しや生成コードの実行を通じても確実に阻止されるかどうかだ。NVIDIAの文書でも、監査のみを行う仕組みは違反を記録するだけで、実際の操作を遮断するものではないと明確に区別している。そのうえで、許可した操作と禁止した操作の両方を試し、制御が意図したとおりに機能するか検証することを求めている。ただし、すべての操作を厳しく制限すればよいわけではなく、本来の業務を正常に完了できるか、正当な操作を誤って遮断しないかについても評価が必要だ。
Huang氏がAIによる人類文明の崩壊という予測に反論したことを、現在のAIエージェントが安全であるという保証と受け取ることはできない。今後の焦点は、NVIDIAが提供を約束した計算資源がどのような再現可能な研究成果につながるか、そして実際に導入された制御技術が、危険な操作をどこまで阻止し、付与された権限をどの範囲まで取り消せるかにある。こうした成果を第三者が検証できる形で示すことができれば、Huang氏の掲げる責任ある楽観主義も、企業がAIエージェントに安心して任せられる業務を広げるための、具体的な判断材料となるだろう。
