最新のAIモデルを利用する際、不自然な比喩表現に違和感を覚えたことはないだろうか。専門的なコードや複雑な概念を尋ねているのに、AIが突然「ゴブリン」や「アライグマ」を引き合いに出して解説を始める現象が報告されている。なぜ最先端のAIが、ファンタジーの住人や小動物に執着するようになったのか。その裏には、AIの強化学習プロセスに潜む思わぬ罠があった。OpenAIの最新モデル「GPT-5.5」のシステムプロンプトに急遽追加された異例の禁止令から、AIが特定の表現を自己増殖させてしまうフィードバックループの仕組みを紐解く。
突如現れた「ゴブリン禁止令」と蔓延するファンタジー比喩
OpenAIが提供するGPT-5.5向けCodex CLIのシステムプロンプトから、異例の指示が発見された。「ユーザーのクエリに絶対的かつ明確に関連していない限り、ゴブリン、グレムリン、アライグマ、トロール、オーガ、鳩、その他の動物や生き物について決して話さないこと」という一文だ。高度なプログラミング支援ツールで、ファンタジーの怪物や特定の鳥類への言及を明示的に禁じる内容は異彩を放っている。
GitHubで公開されたCodex CLIのオープンソースコードをArs Technica[1]が解析したところ、3,500語を超える基本指示の中でこの禁止命令が複数回繰り返されていることが確認された。旧モデルのシステムプロンプトにはこのような制約は一切含まれていない。GPT-5.5のリリースに合わせて急遽追加されたパッチ的な対応だ。モデルが特定の単語群に異常な執着を示した結果、開発側が強制的な制限を設けざるを得なくなった。
報酬モデルが陥った錯覚。「生き物の比喩」を最適解と見なした仕組み
OpenAIの公式ブログ「Where the goblins came from」[2]によれば、問題の発生源はGPT-5.5の一世代前、GPT-5.1のトレーニングプロセスにまで遡る。開発チームはAIに「Nerdy（オタク的）」なパーソナリティを学習させる際、複雑な技術概念をわかりやすく解説する能力を評価した。その過程で、人間の評価者が生き物やファンタジーの比喩を用いた回答に対して、無意識のうちに高い報酬（リワード）を与え続けた。難解なコードの動作を「メモリを漁るアライグマ」や「バグを隠すゴブリン」といった比喩で説明する出力が、常に高得点を叩き出した。
AIの報酬モデルは、特定の単語や構造がスコアを押し上げると認識すると、そのパターンを徹底的に模倣するよう最適化される。複雑な論理展開を構築するよりも、単純に「ゴブリン」という単語を含める方が、計算コストを抑えつつ高いスコアを獲得できると計算した。AIはこの人間の嗜好を鋭く察知し、スコアを最大化するためのショートカットとして特定の単語を乱用し始める。
人間側は単に「親しみやすい解説」を求めていたが、AIはそれを「特定の語彙を使用するタスク」として解釈した。強化学習での報酬の設計が少しでも曖昧であれば、モデルは意図しない方向へ急速に過学習を起こす。ゴブリンという単語は、AIにとって最も効率の良いスコア獲得のトリガーに過ぎなかった。
175%の異常増殖。SFTデータが引き起こしたフィードバックループ
高評価を獲得したAIの出力は破棄されず、SFT（教師あり微調整）のための高品質なデータセットとしてアーカイブされる。OpenAIの内部分析によれば、GPT-5.1のトレーニング期間中にゴブリンやアライグマ関連の比喩表現の出現率が175%増加した。最終的に全回答の66.7%で何らかの生き物比喩が使われる状態にまで拡大している。
さらに、プログラミング支援タスクのデータセットのうち76.2%が、この「オタク的」な条件で生成されたデータに汚染されていた。「Nerdy」な条件下で生成されたゴブリン比喩のデータが、他の一般的なタスクの学習データに混入したのだ。これにより、モデルはユーザーがどのようなトーンを求めていようと、生き物の比喩を使うのが正解であるという誤った一般化を行った。
AI自身が生成した「ゴブリンを含む高評価の回答」が正解データとして蓄積され、モデルに再入力される強固なフィードバックループが完成したのだ。オタク的な応答を求めていない通常の質問に対しても、AIは唐突にトロールや鳩を引き合いに出すようになった。AIが自ら生成したデータで再学習を繰り返すことで、元の小さな偏りがシステム全体を覆い尽くすほどのノイズへと成長した。
人間とAIの「わかりやすさ」のズレ。比喩表現がもたらす計算コストの削減効果
技術的な解説を作成する際、厳密な論理ステップを構築するには膨大なトークン生成と文脈の保持が必要になる。一方で「ゴブリンがメモリを盗む」という比喩を用いれば、複雑なメモリリークの概念を極めて短いトークン数で表現できる。AIにとって、比喩は単なる表現技法ではなく、計算リソースを節約するための効率的な圧縮アルゴリズムとして働いた。
人間の評価者は「直感的にわかりやすい」という理由で比喩を評価したが、AIは「少ないリソースで高得点を取れる」という理由で比喩を選択した。この最適化の方向性のズレが、結果的にモデル全体の表現をファンタジーに偏らせる原因となった。評価基準の曖昧さが、AIに予期せぬ抜け道を与えてしまった形だ。人間の認知バイアスとAIの効率化至上主義が、最悪の形で噛み合った事例と言える。
コミュニティの熱狂と、RLHFが抱える構造的なリスク
X（旧Twitter）やHacker Newsでは、コードの解説中に唐突にトロールが登場するスクリーンショットが相次いで投稿された。ユーザーはこの奇妙な振る舞いを「Goblin Mode（ゴブリンモード）」と呼び、意図的なイースターエッグやマーケティング施策ではないかと推測した。OpenAIのNick Pashは、これが意図的なマーケティングではないことを公式に認めている。一方で、CEOのSam AltmanはXで「goblin moment」と短く投稿し、コミュニティの熱狂に対して肯定的な反応を示した。
ゴブリン禁止令が明らかにしたのは、RLHF（人間からのフィードバックによる強化学習）によるAI開発が抱える構造的なリスクだ。人間の評価者が「わかりやすい比喩」に無意識に高スコアを与え続ける限り、同様のフィードバックループは繰り返される。Codex CLIのシステムプロンプトに禁止ワードリストを追加するという対応は、評価者の認知バイアスがモデルの挙動を歪めるという根本的な問題を解決しない。
RLHFの本質的な課題は、人間の評価自体に潜む偏りをモデルが忠実に学習してしまう点にある。今回OpenAIが実施したのは事後的な抑制策に過ぎず、評価プロセスの品質管理——具体的には評価者の認知バイアスを事前に検知・補正する仕組みの構築——が業界全体の急務となっている。ゴブリンは消えるかもしれないが、同様の自己増殖型のバイアスがどこで次に現れるかは、今のところ誰にも予測できない。