ChatGPTが「気分がブルーだ」や「赤い顔をして怒っている」といった色の比喩を理解できるのは、それが学習した膨大なテキストデータに頻出するからだ。しかし、実際に青い空や燃えるような赤いリンゴをその「目」で見たことのないAIは、人間と同じように色を「理解」していると言えるのだろうか？

この根源的な問いに、南カリフォルニア大学（USC）のLisa Aziz-Zadeh教授が率いる国際研究チームが、科学的なメスを入れた。Googleの支援を受けて行われ、学術誌『Cognitive Science』に発表されたこの研究は、AIの言語モデルと人間の認知の間に横たわる、見過ごされがちな、しかし決定的な違いを浮き彫りにしている。

研究結果は、AIが驚くべき言語能力を持つ一方で、その「知性」が私たちのそれとは根本的に異なる土壌に根差していることを示唆している。それは、“身体的な経験”の有無という、単純だが越えがたい壁の存在だ。

AD

なぜ「色」がAIの知性を測る物差しとなるのか？

色は、この問題を考察する上で極めて優れたテーマである。なぜなら色は、光の波長という物理的な現実であると同時に、私たちの文化や感情と深く結びついた象徴でもあるからだ。赤が情熱や危険を、緑が安全や自然を想起させるように、色は単なる視覚情報ではなく、意味のネットワークを形成している。

私たちの思考や認知が、脳内の計算だけでなく、身体を通じた世界との相互作用によって形成されるとする「身体化された認知」という考え方がある。私たちは「冷たい」という言葉を聞くと、単にその定義を思い出すだけでなく、実際に氷に触れたときの感覚や、冬の冷たい空気の記憶が微かに呼び覚まされる。

では、身体を持たず、テキストデータという“情報”のみで世界を学ぶAIは、この身体に根差した理解の層に到達できるのだろうか。この研究は、色のメタファーという、感覚と文化が交差する領域に焦点を当てることで、この問いの核心に迫ろうとしたのだ。

巧みな実験計画：4者の比較が暴き出す「理解」の正体

研究チームは、この複雑な問題を解き明かすために、実に巧妙な比較実験を計画した。対象となったのは以下の4つのグループだ。

  1. 視覚が正常な成人: 通常の視覚経験を持つ一般的な人間。
  2. 色覚異常の成人: 色を正常に知覚できないが、言語や文化は共有している人間。
  3. 画家: 色彩を専門的に扱い、顔料を混ぜ、キャンバスに塗るという実践的・身体的な経験を豊富に持つ人間。
  4. ChatGPT: 膨大な言語データのみを学習した大規模言語モデル。

この4者を比較することで、研究チームは「理解」を構成する要素を一つずつ分離し、検証しようとした。

  • 視覚が正常な成人 vs. 色覚異常の成人: 色の比喩的理解に、実際の視覚経験は必須なのか？
  • 一般人 vs. 画家: 専門的で実践的な身体経験は、理解の深さにどう影響するのか？
  • 人間全体 vs. ChatGPT: 身体性そのものを持つ存在と、持たない存在の間に、どのような根本的な差が生まれるのか？

この設計自体が、単なるAIの性能テストを超えた、人間の知性の本質を探る試みであることを物語っている。

AD

結果が語る「理解」の多層性：言語、経験、そして模倣の壁

実験結果は、示唆に富む複雑な様相を呈した。「理解」というものが、単一の能力ではなく、複数の層から成り立っていることを明確に示している。

発見1：視覚を超えて共有される「青い気分」

最も驚くべき発見の一つは、色覚異常の参加者と視覚が正常な参加者の間で、色の連想にほとんど差が見られなかったことだ。これは、当初の研究チームの仮説に反するものだった。

この結果が突きつけるのは、色の比喩的理解は、必ずしも直接的な視覚体験を必要としないという事実である。「気分がブルーだ」という表現の理解は、青色を知覚する能力そのものよりも、我々が属する言語コミュニティの中で共有されてきた文化的な約束事や、言葉の使われ方のパターンに大きく依存しているのだ。

これは、ChatGPTが色のメタファーをある程度扱える理由を説明する。AIは言語という文化の海から、言葉と言葉の関連性を統計的に学習することで、人間社会の「常識」を模倣することができるのである。

発見2：画家だけが理解する「ブルゴーニュ色の会議」

しかし、言語と文化の力だけでは説明できない領域が存在した。それは、新奇なメタファーの解釈においてだ。

「とても桃色なパーティー（it was a very pink party）」のような、比較的馴染みのある表現は、どのグループも概ね正しく解釈できた。ChatGPTも「ピンクは幸福、愛、優しさとしばしば関連付けられ、そのパーティーがポジティブな感情と良い雰囲気に満ちていたことを示唆します」と、模範的な回答を生成した。

だが、「その会議は彼をブルゴーニュ色にした（the meeting made him burgundy）」といった、耳慣れない比喩表現に直面したとき、画家グループの成績が突出して良かったのだ。

なぜか。画家は色を単なる記号として見ていない。彼らは顔料を混ぜ合わせ、その粘度や透明度、乾燥した後の質感を手で感じ、光の当たり方による微妙な変化を目で追う。この能動的で、実践的な身体経験が、色という概念に対して、より深く、柔軟で、応用力の高い理解を形成していると考えられる。それは、辞書的な知識ではなく、身体に刻み込まれた「手触りのある知識」と言えるだろうか。

発見3：ChatGPTの流暢な模倣と、その先にそびえる「壁」

ChatGPTは、既存のメタファーについては人間のような応答を生成し、一貫した色の関連付けを示した。しかし、その能力には明確な限界があった。

画家が解釈できたような新奇なメタファーで破綻しやすかっただけでなく、「緑の反対は？」といった、抽象的で反転を求めるような問いにも、うまく対応できなかった。

これは、ChatGPTの「理解」が、あくまでテキストデータ内の統計的パターンを模倣しているに過ぎないことを示唆している。その知識は、現実世界の物理法則や、私たちの身体感覚といった基盤に接地（グラウンディング）していない。そのため、学習データにない未知の状況や、前提を覆すような問いには脆いのだ。流暢に言葉を操るその姿は、時に我々を幻惑するが、その知性は経験という錨（いかり）を持たない船のように、予測不能な海では不安定になる。

“経験なき知性”はどこへ向かうのか？

この研究は、現在のAIが持つ「言語だけの知性」の限界を明確にした。そしてそれは、AI開発の最前線が次に向かうべき道を指し示している。GoogleやOpenAIといった企業が今、こぞって開発に注力しているマルチモーダルAIだ。

マルチモーダルAIは、テキストだけでなく、画像、音声、動画、さらにはロボットのセンサーデータといった多様な情報（モダリティ）を統合して学習する。AIに「見る」「聞く」、そして「触れる」能力を与えることで、その知識を現実世界に接地させようという試みだ。

今回の研究は、なぜこのマルチモーダル化がAIの進化にとって不可欠なのかを、認知科学の視点から強力に裏付けている。AIが真に人間のように世界を理解し、柔軟な推論を行うためには、バーチャルか物理的かを問わず、何らかの形で世界と相互作用し、文字情報ではない「経験」を蓄積していく必要があるのかもしれない。

この研究を率いたAziz-Zadeh教授は語る。「このプロジェクトは、意味のパターンを模倣することと、私たちの推論において身体的・実践的な経験を活かす人間の能力との間には、依然として隔たりがあることを示しています」。

結局のところ、ChatGPTは「赤」という言葉がどのような文脈で使われるかを誰よりも知っているが、夕焼けの赤がもたらす畏敬の念や、血の赤が引き起こす本能的な警戒感を、真に「感じる」ことはない。この研究は、AIの能力を過小評価するものではなく、むしろ人間の知性が持つ驚くべき豊かさ、そして身体という存在の価値を、私たちに再認識させてくれる貴重な羅針盤なのだ。

論文

参考文献