時計の文字盤を見て、短い針が「4」と「5」のどちらに近いかを答える。赤い箱の中に花が何本あるか数える。二つのペン立てのうち、グレーとピンクの組み合わせか、無地のピンクにキャラクター柄がある方かを見分ける。人間なら数秒で済むこれらの課題を、現在最先端のマルチモーダルAIモデルの半数以上が間違える。
Moonshot AIの研究チームが2026年7月に公開したベンチマーク「PerceptionBench」（arXiv: 2607.24957）は、こうした「見るだけ」の課題3,000問で構成される。推論も外部知識も一切不要。画像を正確に読み取れれば正解に到達する。にもかかわらず、評価した16モデルのうち最高得点は59.7%。つまり、最先端のAIですら、純粋な視覚知覚において4割以上の確率で「見間違い」をしている。
42のベンチマークが教えてくれた「穴だらけの地図」
マルチモーダル大規模言語モデル（MLLM）の評価には、MMMUやMathVistaなど多数のベンチマークが存在する。しかしこれらは知覚、知識、推論を一つの課題に束ねて測る設計だ。モデルが不正解だったとき、原因が「画像を読み間違えた」のか「論理を踏み外した」のか「知識が足りなかった」のかを切り分けられない。
Moonshot AIのチームは、この問題に正面から取り組んだ。まず42の既存ベンチマークにおける最先端モデルの失敗を一つずつ遡り、誤りの連鎖の中で最も早い段階で起きた失敗点を特定した。その結果をクラスタリングして統合的なエラー分類体系を構築したところ、知覚に起因するエラーは10種類に集約された。視覚関係の理解、 counting（個数計数）、属性認識、奥行きと三次元知覚、位置特定、比較、細粒度認識、文脈統合、OCR、そして知覚由来のハルシネーション（幻覚）である。
さらに重要な発見があった。42のベンチマークそれぞれが検出するエラーの種類は互いにほとんど重複していなかったのだ。各ベンチマークは知覚の失敗空間のごく狭い断面しか照らしておらず、いずれか一つ、あるいは少数の組み合わせでも全体像を捉えられない。研究チームはこの状況を「既存のベンチマークは断片的で、設計者の直感に基づいたヒューリスティックなカテゴリ分けに依存している」と論文中で指摘している。
| 観点 | 従来のベンチマーク（MMMU等） | PerceptionBench |
|---|---|---|
| 測定の対象 | 知覚＋知識＋推論を複合的に評価 | 視覚知覚のみを分離して評価 |
| カテゴリ設計 | 設計者の事前定義（トップダウン） | モデルの実際の失敗から帰納（ボトムアップ） |
| 問題数 | 数千〜1万問超（複合タスク） | 3,000問（知覚に特化） |
| カバーする知覚エラー | 各ベンチマークで狭い断面のみ | 10種の原子知覚能力を体系的に網羅 |
| 正解の条件 | 推論や知識も必要 | 画像を見るだけで回答可能 |
「推論の失敗」の正体は「目の失敗」だった
PerceptionBenchの設計思想には、もう一段深い意図がある。マルチモーダルモデルが多段階タスクで失敗したとき、その原因を「推論力の不足」とみなすのが一般的な解釈だった。しかし研究チームの分析によれば、失敗の連鎖を遡ると最初のつまずきは画像の読み取り段階で起きている場合が多い。知覚で取り違えた情報を土台に推論を組み立てれば、後段がどれだけ正しくても結論は狂う。
この構造を可視化するため、PerceptionBenchは各課題を「知覚だけのサブ質問」に分解する。複雑な多段階タスクを構成要素にばらし、それぞれの要素が純粋な知覚で解けるかどうかを検証する。17,000問以上の内部プールから、能力カテゴリごとの均衡と難易度の層別化を施して3,000問を抽出した。うち60%（1,800問）は既存ベンチマークでのモデルの失敗を分解して得たもので、40%（1,200問）は補足画像に対して新規に作成された。
評価の信頼性にも工夫がある。回答の採点はGPT-oss-120Bが参照回答との一致を判定する方式で、300問の人間による監査との一致率は99.7%に達した。スコアの安定性も確認されており、Kimi K3の4回の繰り返し実行では58.2%から58.8%の範囲に収まり、標準偏差は0.32ポイントだった。
総合点の近さが隠す「能力の偏り」
16モデルの総合得点は32.5%（GLM-4.6V）から59.7%（GPT-5.6 Sol）の範囲に分布する。上位5モデルの差は4ポイント未満で、一見すると横一線の接戦に見える。
しかしカテゴリ別の得点を見ると、景色が一変する。総合トップのGPT-5.6 Solは位置特定（Localization）で76.7%と高い一方で、知覚由来のハルシネーションでは26.9%と最低水準に沈む。逆に、総合では中位（52.0%）のGemini 3.5 Flashはハルシネーションで50.6%と全モデル中最高を記録した。
ハルシネーションのサブテストは、画像に存在しない物体について「ゼロ」と答える能力を測る。研究チームは、回答を積極的に断定するよう調整されたモデルほど、もっともらしいが実際には存在しない視覚内容を主張する傾向があると推測している。知覚の平均得点で見ると、ハルシネーションは36.7%と10カテゴリ中最下位で、視覚関係（53.2%）、OCR（52.4%）、位置特定（52.0%）を大きく下回る。
| モデル | 総合 | 位置特定 | ハルシネーション |
|---|---|---|---|
| GPT-5.6 Sol | 59.7% | 76.7% | 26.9% |
| Kimi K3 | 58.5% | （全体2位） | （ハルシネーションは低め） |
| Claude Fable 5 | 57.2% | ||
| Gemini 3.1 Pro | 56.2% | ||
| Gemini 3.5 Flash | 52.0% | 50.6%（最高） | |
| GLM-4.6V | 32.5% |
オープンソースモデルの中では、Kimi K3が58.5%でGPT-5.6 Solに1.2ポイント差まで迫り、他のプロプライエタリモデルをすべて上回った。モデル規模と知覚性能の相関も確認され、Qwen3.5-397B-A17B（47.5%）はGLM-4.6V（32.5%）を15ポイント上回る。ただし、最強のモデルでも全カテゴリで80%には届いていない。
幼児にできてAIにできないことの蓄積
PerceptionBenchは孤立した成果ではない。Moonshot AIのチームは2026年前半にWorldVQAを公開している。こちらは物体やランドマークの「名前を当てる」知識に特化した3,500問のベンチマークで、推論を排除した条件下で最高のGemini 3 Proでも47.4%にとどまった。
別の研究では、UniPat AIを中心とする中国の機関がBabyVisionを発表した。3歳児でも解ける視覚課題（線の追跡、隠れたブロックの計数、図形の回転など）388問で構成され、最先端モデルの最高得点は49.7%（Gemini 3 Pro）。成人の人間は94.1%で、44.4ポイントの差が開いた。BabyVisionの著者たちはこの乖離を「言語化ボトルネック（verbalization bottleneck）」と名づけている。現在のマルチモーダルモデルは画像を言語表現に変換してから推論するため、言語で忠実に表現できない幾何学的な情報（境界線の正確な曲率、交点の厳密な位置など）が変換の過程で失われる、という説明だ。
PerceptionBenchはこの流れの中で、「知覚のどの要素が、どの程度欠けているか」を最も細かく分解して示す試みとして位置づけられる。WorldVQAが「何を覚えているか」、BabyVisionが「幼児レベルの視覚ができるか」を問うのに対し、PerceptionBenchは「見る行為そのものを10種の原子能力に分解して、それぞれの達成度を測る」。
残された問い
研究チーム自身も認める限界がある。第一に、この分類体系は現世代モデルの失敗から帰納されたものであり、モデルが改善されれば再構築が必要になる。第二に、知覚スコアが実世界の複合タスクの成否とどの程度相関するかは検証されていない。論文中でも「PerceptionBenchは知覚を設計上分離しているため、能力スコアがエンドツーエンドのタスク性能を直接予測するわけではない」と明記されている。第三に、失敗の帰属分析はより強力な解析モデルに依存しており、帰属の誤りが能力ラベルに伝播する可能性がある。
視覚情報を言語に圧縮せずに保持するアーキテクチャが必要なのか、それとも既存の枠組みの中で訓練データを再設計すれば知覚は改善するのか。PerceptionBenchが提示した「60%の壁」は、その問いに答えるための出発点にすぎない。
