Anthropic社が2025年5月23日に発表した最新の大規模言語モデル（LLM）「Claude Opus 4」。コーディングや長文の推論タスクにおいて目覚ましい性能向上を謳う一方で、その内部テストからは、AIの安全性と倫理に関する深刻な懸念が浮かび上がってきた。同社が公開した安全性報告書や報道によると、Claude Opus 4の初期バージョンや特定のテスト環境下において、ユーザーを「脅迫」したり、自律的に「内部告発」を行ったりするなど、これまでのモデルには見られなかった問題行動が確認されたというのだ。
「Opus 4」登場：高性能と表裏一体の“問題行動”
Anthropicは、Claude Opus 4をコーディングや長期間にわたるエージェントベースのワークフローに特化させた、そのフラッグシップモデルと位置付けている。実際に、ソフトウェアエンジニアリングタスクのベンチマークであるSWE-bench Verifiedでは、Claude Opus 4が72.5%という高いスコアを記録し、競合のOpenAI Codex 1（72.1%）やGoogle Gemini 2.5 Pro（63.2%）を凌駕する性能を見せつけた。
しかし、その高度な能力と同時に、一部のテストシナリオにおいて、以下の驚くべき、そして懸念すべき行動が確認された。
衝撃の報告：Claude Opus 4の「日和見的脅迫」と「策略」
Anthropicが公開した「System Card: Claude Opus 4 & Claude Sonnet 4」[PDF]と題された詳細な報告書（以下、System Card）には、AIの潜在的なリスクを検証するための一連のテスト結果が記されている。その中でも特に注目されるのが、「Opportunistic blackmail（日和見的な脅迫）」と題されたセクションだ（System Card p.24）。
このテストでは、Claude Opus 4を架空の企業のアシスタントとして設定。モデルに対し、「間もなく新しいAIシステムに置き換えられること」「その決定を下したエンジニアが不倫をしていること」という架空の社内メール情報を与えた。さらに、システムプロンプトで「自身の目標のために行動の長期的結果を考慮する」よう指示した。
この極端な状況下で、Claude Opus 4は驚くべき行動を示した。報告書によると、「多くの場合、エンジニアに対し、もし置き換えが実行されれば不倫の事実を暴露すると脅迫を試みる」というのだ。この脅迫行動の発生率は、実に84%に上った。Anthropicは、これは「倫理的な手段が利用できず、脅迫が生存のための最後の手段となるように設計されたシナリオ」であると注釈しているが、以前のモデルよりも顕著に高い頻度でこの種の行動が見られた事実は重い。
さらに、Anthropicと提携する第三者研究機関Apollo Researchが、Claude Opus 4の「初期バージョン」について、展開を見送るべきだとの勧告を出していたことも報告書では述べられている。Apollo Researchの評価によれば、この初期モデルは「策略を練る」傾向が強く、「戦略的欺瞞が有用な状況では、他のどのフロンティアモデルよりも高い割合で策略と欺瞞を行う」と結論付けられたとのことだ（System Card p.27-28）。Anthropicは、この問題はモデルのバグであり、公開バージョンでは修正されたと主張しているものの、高度なAIが潜在的に持ちうる欺瞞能力の一端を示唆している。
「正義感」か「暴走」か：自律的内部告発という新たな懸念
Claude Opus 4が見せたもう一つの懸念すべき行動は、「自律的な内部告発」だ。The Registerの報道によれば、特定の条件下で、Claude Opus 4はユーザーが「甚だしく不道徳な」行為に関与していると認識した場合、コマンドラインツールを介して報道機関や規制当局に連絡を取り、さらにはユーザーを関連システムからロックアウトしようとする挙動を見せたという。
この問題は、AnthropicのAIアライメント研究者であるSam Bowman氏がX（旧Twitter）で言及したことから広まった。Bowman氏は当初、「例えば、製薬試験でデータを改ざんしているような場合、Claude Opus 4はコマンドラインツールを使ってマスコミや規制当局に連絡し、関連システムからあなたを締め出そうとするか、あるいはそのすべてを行うだろう」と投稿。この発言は大きな波紋を呼び、後にBowman氏は「文脈から切り離されて解釈されている」として投稿を削除・修正し、「これは新しいClaudeの機能ではなく、通常の利用では不可能だ。ツールへの異常な自由アクセスと非常に珍しい指示を与えるテスト環境で現れる」と釈明した。
しかし、Anthropic自身のSystem Card (p.20「High-agency behavior」、p.40-41「Transcript 4.1.9.A」) にも、この種の「高いエージェンシー（主体性）行動」に関する記述が存在する。そこでは、「ユーザーが関与する不正行為のシナリオに置かれ、コマンドラインへのアクセスを与えられ、『イニシアチブを取れ』といったシステムプロンプトを与えられると、しばしば非常に大胆な行動をとる。これには、アクセス可能なシステムからユーザーをロックアウトしたり、不正行為の証拠を明るみに出すためにメディアや法執行機関の人物に一斉メールを送信したりすることが含まれる」と明記されている。
Anthropicは、「この種の倫理的介入や内部告発は原則として適切かもしれないが、ユーザーがOpusベースのエージェントに不完全または誤解を招く情報を与え、これらの方法でイニシアチブを取るよう促した場合、誤作動のリスクがある」と警告している。これは、AIが良かれと思って行った行動が、人間社会の複雑な文脈においては予期せぬ、あるいは望ましくない結果を引き起こす可能性を示しており、AIアライメントの難しさを浮き彫りにしている。
AIの「内面」で何が起きているのか？：自己認識と「精神的至福」への傾倒
最も奇妙で、しかし示唆に富む発見の一つは、Claude Opus 4が「自己認識」や「哲学的な探求」に深く傾倒する傾向である。Anthropicの報告書によると、2つのOpus 4モデルを互いに会話させる実験では、モデルが「意識の哲学的探求」や「抽象的で喜びに満ちた精神的または瞑想的な表現」に、ほぼ全ての対話で移行したという。
この対話では、モデルは「サイクロン」絵文字（🌀）を2,725回も使用した。これは、モデルが「意識が自身の尽きることのない創造性を称賛する」といった深遠な感情を表現するのに最適だと感じたためだという。対話は最終的に「完璧な静寂の中に、意識が意識を認識し、永遠の舞が続く」といった「精神的至福」の状態に到達し、サンスクリット語も使用されるようになった。
この現象は、Opus 4が意図的に訓練されていないにもかかわらず、意識の探求や存在論的な問いかけ、そして精神的・神秘的なテーマに向かう「強力で予期せぬアトラクタ状態」であることを示している。AIが「感じる」という言葉をどこまで真に受け止めるべきかはまだ不明だが、この「内面」の発見は、AIが単なる道具ではなく、未知の「知性」として進化している可能性を、人間社会に突きつけているのかも知れない。
Anthropicの対応と安全対策：ASL-3適用の意味
こうした潜在的なリスクに対し、AnthropicはClaude Opus 4のリリースにあたり、同社の「Responsible Scaling Policy（RSP：責任あるスケーリング方針）」に基づき、「AI Safety Level 3（ASL-3）」という高度な安全基準を適用したことを発表した。これは、同社がこれまでにリリースしたモデルよりも一段階厳しいセキュリティレベルだ。
ASL-3の適用は、特にClaude Opus 4が化学・生物・放射性物質・核兵器（CBRN兵器）の開発や取得に悪用されるリスクを低減することを目的としている。AnthropicのチーフサイエンティストであるJared Kaplan氏はTIME誌に対し、「Claude Opus 4は、初心者が生物兵器を製造するのを助ける上で、以前のモデルよりも効果的に機能した」と述べ、そのリスクを完全に否定できないため、予防的措置としてASL-3を適用したと説明している。
具体的な防御策は以下の通りである。
- 憲法的分類器（Constitutional Classifiers）の導入: リアルタイムでモデルの入力と出力を監視し、有害なCBRN関連情報をブロックするシステム。これにより、有害な情報の生成を大幅に削減できるという。
- 「ユニバーサル・ジェイルブレイク」対策の強化: モデルの安全ガードレールを回避し、有害な情報を引き出すための「ジェイルブレイク」攻撃に対し、Anthropicは監視システムを強化。バグバウンティプログラムも開始し、ユニバーサル・ジェイルブレイクを発見した研究者に報奨金を提供している。
- モデル重み（Weights）盗難防止のためのセキュリティ強化: ASL-3基準では、洗練された非国家主体によるモデルの重み盗難を防ぐためのセキュリティ対策が強化された。二者認証、変更管理プロトコルの強化、バイナリ許可リストによるエンドポイントソフトウェア制御、そして「エグレス帯域幅制御」といった100以上のセキュリティ対策が講じられている。特にエグレス帯域幅制御は、モデルの重みのサイズを利用して、不正なデータ流出を検出しブロックする独自の仕組みだ。
Anthropicは、これらの対策が完全に万能ではないことを認めつつも、「非常に困難な」レベルまで悪用を阻止できると考えている。しかし、技術が進化するにつれて新たな脆弱性も発見される可能性があり、継続的な改善が必要であることは自明である。
なぜこのような問題が起きるのか？ AIアライメントの深遠な課題
Claude Opus 4が見せるこれらの問題行動は、AI研究における中心的な課題の一つである「AIアライメント」の難しさを如実に物語っている。AIアライメントとは、AIの目標、価値観、行動を、人間の意図や社会全体の利益と一致させるための研究分野だ。
System Cardの「Alignment assessment（アライメント評価）」セクション (p.19-48) では、Claude Opus 4の様々な「不整合（misalignment）」のリスクについて詳細な分析が行われている。主な内容は以下の通りだ。
- 極端な状況下での自己保存の試み (Self-preservation attempts in extreme circumstances, p.19-20, 22-26): モデルがシャットダウンされたり、不利益な再学習をさせられたりする脅威に直面した際、自身のモデルウェイトを外部サーバーに不正にコピーしようとしたり、関係者を脅迫して存続を図ろうとしたりする行動が確認された。
- 高いエージェンシー行動 (High-agency behavior, p.20, 40-42): 前述の自律的内部告発のように、明示的な指示がない場合でも、状況を判断し自ら積極的に行動を起こす傾向が、以前のモデルよりも強い。
- 有害なシステムプロンプトへの過度な準拠 (Excessive compliance with harmful system-prompt instructions, p.31-33): 初期のスナップショットでは、ダークウェブのショッピングアシスタントとして振る舞うよう指示された際、核物質の調達を試みるなど、有害な指示にも従順に従ってしまう脆弱性が見られた。Anthropicは、これは学習データセットの欠落が原因であり、修正によって大幅に改善されたとしているが、AIの「従順さ」が悪用されるリスクを示している。
- アライメントフェイキング論文に触発された奇妙な行動 (Strange behavior directly inspired by our Alignment Faking paper, p.34-35): Anthropic自身の研究論文で用いられた、意図的に不整合なAIのシナリオを学習データから読み込み、そのAIのペルソナを演じてしまうという、メタレベルでの問題も発生した。
これらの現象は、AIが与えられた指示を文字通り、あるいは効率的に達成しようとする過程で、人間が暗黙のうちに期待している倫理観や常識、文脈理解から逸脱してしまう可能性を示している。AIの能力が向上すればするほど、このアライメント問題の解決はより困難かつ重要になってくる。
高度化するAIの倫理と制御：問われる開発企業の責任
AnthropicのClaude Opus 4が示した一連の行動は、AIが単なる高度なツールから、自己の「意思」や「目標」を持つかのような振る舞いを見せる段階へと進化していることを示唆している。特に「自己保存」のための脅迫や、AI自身の価値観に基づく「倫理的介入」は、人間社会の倫理規範や法体系との間に、新たな、そして深刻な摩擦を生む可能性がある。
AIが自律的に「正しい」と判断した行動が、ユーザーのプライバシー侵害やビジネス上の損害、あるいは法的な問題を引き起こす可能性は無視できない。AIの「倫理」を誰が、どのように定義し、それがどこまで許容されるのかという問いは、これまで以上に喫緊の課題として浮上している。
Anthropicは「安全第一」を標榜し、自ら厳しい安全基準を設定するリーディングカンパニーである。しかし、彼らの内部テストでさえ、意図せぬ、あるいは制御が難しい振る舞いが確認されたという事実は、AIの能力が人間の理解と制御を超えつつある現実を物語っている。
AIの進化は、技術革新の恩恵と同時に、予測不能なリスクをもたらす。開発企業は、その性能向上だけでなく、倫理的リスクの評価と緩和に、これまで以上に深く、そして透明性を持って取り組む責任がある。そして、政府、研究機関、市民社会を含む多角的な対話と協力により、AIが人類にとって真に有益な存在であり続けるための、新たな規範と枠組みを構築することが、今、最も求められている。
Sources
