SpaceXAIが8月12日に公開したGrok 4.6は、Artificial AnalysisのIntelligence Indexで61ポイントとなり、GPT-5.6 Sol（max）と並んだ。Grok 4.5からは約1カ月で5ポイント伸びた計算である。ただし、この数字を「Grok 4.6が全てのベンチマークでGPT-5.6 Solを上回った」という結論に置き換えることはできない。総合指数は複数の評価を合成した値であり、個別の業務での再現性や導入時の品質まで一つの順位が保証するわけではないからだ。
SpaceXAIは、長時間動くエージェント、知識作業、コードベースをまたぐ作業、対話的かつ視覚的な成果物を主なワークロードに挙げる。提供先はAPI、Cursor、Grok Buildである。モデルの更新は速いが、実際に選ぶ側が比べるべき単位は総合順位ではない。どの仕事を、どのツールとトークン予算で走らせ、失敗したときに何回やり直すかまで含めて見る必要がある。
同点の61は総合勝利を意味しない
Artificial AnalysisのIntelligence Indexでは、Grok 4.6とGPT-5.6 Sol（max）がともに61ポイントである。上にはClaude Opus 5（max）の63ポイント、Claude Fable 5（max with fallback）の62ポイントが置かれる。この順位は、Grok 4.6が有力な選択肢になったことを示す。ただし、用途を問わない性能順位ではない。
個別の数値を見ると、Artificial AnalysisはGrok 4.6についてGDPval-AA v2を1753 Elo、tau3-Bankingを50.7%、Terminal-Bench v2.1を88.4%とした。一方、OpenAIはGPT-5.6 SolのGDPval-AA v2を1747.8 Elo、Terminal-Bench 2.1を88.8%としている。GDPval-AA v2は知識労働、Terminal-Benchは端末での作業の一部を測る評価であり、金融・顧客対応・端末作業の結果を他の業務へそのまま広げることはできない。
しかも、両社が示す設定が同一かどうかは公表資料だけでは確定しない。GPT-5.6 Solの思考設定とGrok 4.6の設定、ツールの利用条件、与えたトークン予算が揃っているとは限らない。SpaceXAIの公開表でも、CursorBench v3.2はGrok 4.6が69.9%、Grok 4.5 Highが66.7%であり、ベンチマークごとに比較対象と設定は異なる。数字の差より先に、どのハーネスで出た値かを確かめるべきである。
GDPval-AA v2については、Artificial AnalysisがGrok 4.6の信頼区間はClaude Fable 5およびQwen3.8 Maxと重なると説明している。Eloの小差を製品選定の決め手にするには、仕事に近い入出力、同じ運用条件での追加検証がいる。総合指数の61ポイントは出発点にはなるが、包括的な勝利を表す印ではない。
個別の評価はエージェントの一部を測る
Grok 4.6の評価材料には、公開ベンチマークと非公開の長時間評価が混在する。Artificial AnalysisのAA-Briefcaseでは、Grok 4.6は1577 Elo、平均約53回のターン、入力約5億トークンとされた。これは長時間のエージェント知識作業を対象にした評価であり、エージェントが一回の応答では終わらない仕事をどう処理するかを見る材料になる。
ただし、AA-Briefcaseは非公開ベンチマークである。外部の利用者が同じ課題を実行し、同じ結果を再現することはできない。また、この比較で示されたClaude Opus 5（max）は平均約103回のターン、入力約20億トークンだが、GPT-5.6 Solとの直接比較ではない。53回という平均値だけで、どの業務でもGrok 4.6が少ない手順で完了するとは言えない。
評価の種類を分ける意味はここにある。公開ベンチマークは特定の課題における結果を確認しやすい。非公開評価は、対象に近い長時間の作業を捉えられる場合がある一方、外部で同じ条件を再現できない。両方を読んでも、社内文書、独自ツール、権限設定を含む実運用の成功率までは分からない。
SpaceXAIは性能向上の背景として、長めの追加学習、推論と高度な技術概念向けに選別したモデル生成データ、高品質なエンジニアリングデータ、最適化器と学習レシピの改善を挙げる。これは同社の説明であり、独立した因果証明ではない。導入側に必要なのは学習手法の説明を採否の根拠にすることではなく、自社の失敗例を含む評価で仕事が完了するかを確かめることだ。
トークン単価とタスクの費用を分ける
Grok 4.6の標準料金は、入力100万トークン当たり2ドル、出力100万トークン当たり6ドルである。高速版はその2倍になる。GPT-5.6 Solは入力100万トークン当たり5ドル、出力100万トークン当たり30ドルであり、公表された単価だけを並べればGrok 4.6の方が低い。
しかし、エージェントの支出は入出力単価だけでは決まらない。長いコンテキストを何度読むか、作業を何ターン続けるか、ツール呼び出しの後に再試行するか、最後に人間がどこまでレビューするかで実行量は変わる。同じ総合指数でも、実務で消費するトークン数と手順が違えば、1件当たりの支出は同点にならない。
Artificial AnalysisはGrok 4.6の1件当たり実測コストを0.84ドルとした。この値は料金表から機械的に出る値ではなく、評価で実行したトークン量と手順に依存する測定値である。したがって、0.84ドルを自社の問い合わせ処理やコード変更にそのまま当てはめることはできない。費用を比較するなら、同じ入力、同じツール、同じ完了条件で測定する必要がある。
APIではキャッシュ入力を100万トークン当たり0.5ドルとしている。繰り返し参照する長い指示や文書がある業務では、この区分も支出を左右しうる。ただし、トークン料金は社内データの接続、ツール、エラーからの回復、人手レビューまでを含む総所有コストではない。単価の低さを運用全体の安さと同一視しないことが重要になる。
50万トークンの上限を導入条件へ戻す
Grok 4.6のAPIは、テキストと画像を入力に受け、テキストを出力する。関数呼び出し、構造化出力、Web検索、コード実行にも対応し、最大プロンプト長は50万トークンである。コードベースや資料群を横断する用途では、広い文脈を一度に扱えることが設計上の選択肢を増やす。
一方で、50万トークンという仕様は、その長さの入力を常に低コストで処理できることも、長時間タスクを成功させることも保証しない。長いコンテキストには別料金があり、実行時間、ターン数、再試行が積み上がれば、タスク当たりの総支出の差は縮んだり広がったりする。文脈上限と、長い仕事を確実に終える能力は別の性質である。
企業がGrok 4.6を試すなら、公開指数の順位を再現するより、実際の作業に近い小規模なパイロットで測る方がよい。入力サイズ、ツール呼び出し、再試行回数、完了までのターン数、レビュー後に残る修正量を同じ条件で記録する。そこで初めて、61ポイントという総合指数が自社の仕事にどこまで結び付くか、入力100万トークン当たり2ドル／出力100万トークン当たり6ドルという料金が実支出にどう現れるかを判断できる。