Moonshot AIは2026年10月23日、AIモデル「Kimi K3.1 Pro」と、その高速版「Highspeed」の提供を開始した。独立評価機関Artificial Analysisの総合指標は、旧モデル「Kimi K3」の44点から55点へと11点上昇し、4位に入った。ただし、学習済みの重みを公開する「オープンウェイト」モデルとしての提供は、11月4日までに実施する予定となっている。今回の性能向上が特に目立つのは、単に質問へ回答するのではなく、外部ツールを使ってコードやプログラムを実行し、複数の手順を伴う長時間の課題に取り組む場面だ。一方、ツールを使わない知識問題や、成果物の完成度を厳しく判定する試験では上位モデルとの差が残っており、競争力を評価するにはタスクの種類と評価条件を分けて考える必要がある。
独立評価で55点、K3から11点上昇
Kimi K3.1 Proは、K3の事前学習を終えた後、特定の能力を高める「事後学習」を強化したモデルだ。Moonshotは公式ブログで、K3.1 ProをK3の事後学習版と位置づけている。数百の分野にまたがる強化学習を進めるため、学習・推論基盤だけでなく、処理の実行順序や隔離された実行環境の品質管理も最適化したという。ただし、個々の改良が性能向上にどの程度寄与したかは明らかにしていない。
Moonshotの公式X投稿によると、Kimi K3.1 Proの総パラメータ数は2.8兆で、推論時に有効となるパラメータは1040億に達する。また、一度に処理できるコンテキスト長は100万トークンとなっている。トークンとは、文章などをAIモデルが処理する際の基本単位だ。ただし、こうしたモデル規模の大きさと、今回の性能向上をもたらした要因は区別する必要がある。
Artificial Analysisが10月23日に公表した評価結果では、総合性能を測る「Intelligence Index」がK3の44点から55点へと11点上昇した。上位にはClaude Opus 5.5が58点、Claude Sonnet 5.5とMuse Wonder Fullがそれぞれ56点で並び、Kimi K3.1 Proは4位に位置する。ただし、OpusとSonnetには「max with fallback」、Museには「max」という推論設定が使われており、モデルごとに条件が完全に統一されているわけではない。
特に大きな改善が見られたのが、端末を操作しながら課題を解決する能力を測る「Terminal-Bench 4.0」だ。Artificial Analysisの評価では、K3の成功率13%から67%へと大幅に向上し、Claude Sonnet 5.5の64%を上回った。業務上の課題への対応力を比較する「GDPval-AA」でも1846 Eloを記録し、Opusの1866、Museの1857に次ぐ3位に入っている。なお、Eloはモデル同士の対戦比較に基づく評価値であり、正答率を百分率で表したものではない。
自動化タスクを測る「AutomationBench-AA」も58%から73%へと改善した。一方、難度の高い知識問題を扱う「HLE」は47%から52%、科学分野のプログラミング課題「SciCode」は59%から61%と、改善幅は比較的小さい。つまり、総合指標が11点上昇したからといって、すべての能力が同じように伸びたわけではない。今回の更新は、特に外部ツールを使って複雑な作業を長時間進める用途で、その効果を検証する価値が高いといえる。
競合モデルとの比較：ツール利用では強いが、完成度には課題も
Moonshotが10月23日に公開した評価表では、難問への回答能力を測る「HLE-Full」について、外部ツールを使用する場合と使用しない場合の結果を比較している。以下は主要4モデルのスコアをまとめたものだ。推論強度は原則として「max」だが、非公開の競合モデルには「max with fallback」が適用されており、実行環境やフォールバック条件が完全に一致するわけではない。
| HLE-Fullの評価条件 | Kimi K3.1 Pro | Claude Fable 5.1 | GPT-6 Astra | Claude Opus 5.5 |
|---|---|---|---|---|
| ツールあり | 70.0% | 65.6% | 57.2% | 67.7% |
| ツールなし | 51.1% | 57.6% | 53.6% | 59.8% |
Kimi K3.1 Proは、ツールを使用する条件では70.0%を記録し、比較対象の4モデルで最高となった。しかし、ツールを使わない条件では51.1%にとどまり、ほかの3モデルを下回っている。この結果は、外部ツールを活用する能力と、モデル単体で回答する能力を分けて評価する必要があることを示している。ただし、2つの条件で得られたスコアの差を、そのままツール利用による性能向上幅とみなすことはできず、学習方法の寄与も特定できない。また、Artificial Analysisが公表したHLEの52%とは評価条件が異なるため、同一の測定結果として扱うべきではない。
プログラミング能力についても、長時間作業を続ける試験と、最終的な成果物の完成度を厳しく判定する試験では、モデルの順位が変わる。Moonshotが公表した6モデルの比較結果は以下のとおりだ。数値は各試験で報告されたスコアであり、異なる試験間で直接比較することはできない。推論強度は原則「max」、非公開競合モデルは「max with fallback」で、Kimiのコード関連試験にはClaude Codeが使用されている。
| 試験 | Kimi K3.1 Pro | Fable 5.1 | GPT-6 Astra | Opus 5.5 | DeepSeek-V4.1-Flash-1017 | GLM-5.3 |
|---|---|---|---|---|---|---|
| Terminal-Bench 4.0 | 65.7 | 57.9 | 58.2 | 66.4 | 42.3 | 41.8 |
| SWE Marathon v1.1 | 51.7 | 45.6 | 42.5 | 46.3 | 40.0 | 42.5 |
| DeepSWE v1.1 | 75.5 | 67.4 | 74.1 | 74.2 | 77.0 | 66.9 |
| ProgramBench（二値評価） | 31.5 | 53.5 | 50.0 | 65.0 | 29.1 | 19.0 |
※Fable 5.1はClaude Fable 5.1、Opus 5.5はClaude Opus 5.5を指す。
「SWE Marathon v1.1」ではKimi K3.1 Proが51.7を記録し、比較対象の中で最高となった。一方、「ProgramBench」では31.5にとどまり、Claude Opus 5.5の65.0と大きな差がついている。ProgramBenchの二値評価では、各課題の達成スコアが95%以上なら1、それ未満なら0として採点するため、途中まで完成した成果物に通常の部分点が加算されるわけではない。つまり、長時間の作業を進める能力が高くても、厳しい完成条件を満たせるとは限らない。「DeepSWE v1.1」でもDeepSeekの77.0がKimiの75.5を上回っており、Kimiがプログラミング全般で首位に立ったとはいえない。
さらに、この比較表は、すべてのモデルを同一環境で独立に測定したものではない点にも注意が必要だ。Terminal-Benchの競合モデルのスコアには各社のブログや公式ランキングに掲載された最大値が使われ、DeepSWEには技術報告の数値を採用している。SWE Marathonについても、公式ランキングとMoonshotによる一部の自社評価が混在しており、使用するツールや処理手順を含めた実行環境は統一されていない。また、Artificial AnalysisのTerminal-Benchで得られた67%とMoonshot公表値の65.7%は別々の評価結果であり、この差をモデルの性能変化と解釈する根拠はない。
したがって、僅差のスコアから単純に勝敗を判断することは避けたい。実際の導入を検討する際には、対象業務が長時間のツール操作を必要とするのか、モデル単体の回答精度を重視するのか、それとも厳しい完成条件を満たす成果物が必要なのかを明確にすることが重要だ。同じモデルでも、求める能力によって評価が大きく変わるためである。
3D制作や金融資料の分析でも性能向上
Kimi K3.1 Proの実務への応用例として、Moonshotは3D制作や金融資料の分析を挙げている。複数の視点から撮影・描画された画像を基にCAD用のコードを生成し、3D形状を再構成する能力を測る「BenchCAD」では、Kimiが92.7%を記録した。Claude Fable 5.1の92.6%をわずかに上回る一方、GPT-6 Astraの95.9%とClaude Opus 5.5の96.2%には及ばず、DeepSeekの81.6%は上回っている。この試験では、全1万7900件の「Vision2Code」データセットから1000件を抽出し、公開モデルについてはClaude Codeを使って評価した。非公開の競合モデルについては、各社の公式報告値を採用している。
Moonshotは、AIがBlenderやCAD向けのスクリプトを生成・実行する能力を紹介しており、Web版とアプリ版には「3D Make」機能も用意した。ユーザーは生成された3Dモデルをプレビュー・編集できるほか、3Dプリント向けにダウンロードすることも可能だ。ただし、BenchCADの高いスコアは、製造現場で求められる寸法精度や、業務上必要な認証・検証まで満たしていることを意味しない。形状の試作やアイデアの検討に使えることと、そのまま製造工程に渡せる図面を完成させられることは別の問題だ。
資料分析の分野では、「OfficeQA Pro v2」でKimiが64.4%を記録し、Claude Opus 5.5の62.2%を上回った。ほかのモデルはFableが54.5%、Astraが54.4%、DeepSeekが40.4%、GLMが31.1%となっている。この試験では、PDF全体を画像としてモデルに与え、機械が直接読み取れるテキストデータは提供しない。また、オンラインで回答を参照した場合は0点となる。実行環境にはAstraでCodex、それ以外のモデルでClaude Codeを使用しているため、得られたスコアをモデル単体の性能差にそのまま置き換えることはできない。
金融関連の能力についても、Moonshotは社内評価で改善を確認したとしている。旧K3と比較して、金融モデルの作成では7.2ポイント、金融調査では11.6ポイントの向上が見られたという。ただし、これらは自社の旧モデルとの比較であり、他社モデルに対する優位性を示すものではない。資料を読み込み、必要な計算を行い、分析結果を成果物にまとめるといった作業で、どこまで実用性が高まったかを検証するための材料と捉えるのが適切だ。
また、性能が向上しても、生成内容の事実確認が不要になるわけではない。Moonshotの内部評価「Hallu Bench Hard」では、個々の主張を検証して算出する誤情報率が、旧モデルの23.4%から8.3%へと低下した。同社は約65%の削減と説明しているが、これは意図的に誤回答を誘発するストレス試験の結果であり、日常的な利用でも誤回答が同じ割合で減ることを保証するものではない。一方、Artificial Analysisの別試験「AA-Omniscience」でも誤情報率は53%から44%へ改善している。異なる2つの試験で改善傾向が見られるものの、それぞれ評価条件が異なるため、数値を直接比較することはできない。
API単価は33%値下げ、それでもタスク費用はほぼ変わらず
Kimi K3.1 Proでは、性能向上と同時にAPIの料金も引き下げられた。Artificial Analysisによると、標準APIの入力、出力、キャッシュ済み入力の単価はいずれも旧K3から33%下がっている。しかし、同機関が評価課題を実行した際の1タスクあたりの費用は1.98ドルで、旧モデルとほぼ変わらなかった。トークン単価の値下げが、そのまま実際の作業費用の削減につながるわけではないことを示す結果だ。
以下は、Artificial Analysisの評価結果とKimi Codeの公式ドキュメントに記載された料金・利用条件をまとめたものだ。なお、APIの従量課金とKimi Codeの会員プランにおける利用枠は、異なる料金体系である。
| 費用・速度の対象 | 料金・利用条件 |
|---|---|
| 標準APIの100万トークンあたりの料金 | 入力2ドル、出力10ドル、キャッシュ済み入力0.20ドル |
| Artificial Analysisの評価課題 | 1タスクあたり1.98ドル。出力トークン数はK3の48Kから55Kへ増加（同機関によると14%増） |
| Kimi CodeのHighspeed | モデルの出力を高速化。Pro/Allegretto以上が対象で、通常の約2倍の利用枠を消費 |
トークン単価が33%下がったからといって、1件の仕事にかかる費用も33%減るとは限らない。Artificial Analysisの測定では、出力トークン数が旧K3の約4万8000から約5万5000へと増加している。ただし、入力トークンやキャッシュの利用量を含む詳細な内訳がそろっていないため、この出力量の増加だけが費用の横ばいを招いたとは断定できない。また、1.98ドルという金額は同機関の評価課題における測定値であり、すべての利用者や用途に共通する平均費用ではない。
Highspeedについて、Moonshotは通常版と比べて2〜3倍高速だと説明している。ただし、Kimi Codeの公式ドキュメントによると、高速化されるのはモデルが回答を生成する処理に限られる。外部ツールの呼び出しやスクリプトの実行そのものが速くなるわけではないため、これらの処理に時間がかかる業務では、作業全体の所要時間が同じ倍率で短縮されるとは限らない。加えて、Highspeedは通常の約2倍の利用枠を消費するため、速度と利用可能な処理量のバランスも考慮する必要がある。
Kimi Codeで通常のK3.1 Proを利用するには「Plus/Moderato」以上のプランが必要で、100万トークンのコンテキスト長とHighspeedの利用には「Pro/Allegretto」以上が求められる。また、Codeで使用するモデルIDは k3.1-pro であり、一般APIの kimi-k3.1-pro とは異なる。Kimi Codeでは思考処理を無効にできず、推論強度の初期設定は「max」となっている。導入やモデルの切り替えを判断する際には、単価や生成速度だけでなく、実際の業務で発生する再実行や修正、成果物の確認にかかる時間まで含めて評価する必要がある。
11月4日までに重みを公開予定、サイバー能力には意図的な制限
Moonshotは今回のモデル開発にあたり、サイバー攻撃に関する能力を抑制する措置を講じたと説明している。具体的には、学習の中間段階と強化学習で使用するデータからサイバー関連の内容を除外する一方、一般的なプログラミング能力を高める学習は維持したという。これは、モデルの公開によって高度な攻撃能力が広く利用可能になるリスクを抑えるための判断だ。同社の内部評価「xdev-bench-hard」では、3回の試行に基づく成功率を表すpass@3が、サイバー関連データを除外する前のチェックポイントでは90.5%だったのに対し、最終モデルでは81.0%となった。
ただし、この試験は、すでに公開されている脆弱性を対象に、ソースコードや短いヒント、実行形式のバイナリなどを与え、隔離された環境で攻撃の成功を検証するものだ。評価にはランダムに選んだ試行の部分集合を用い、実行時間や出力に厳しい上限を設けていないため、ほかのベンチマークや実環境での攻撃成功率と直接比較することはできない。また、Moonshot自身も、最終モデルのサイバー関連能力は旧K3より高いと認めている。同社は、最先端の攻撃能力をさらに高める形での公開を避けつつ、防御や監査に役立つ能力を段階的に広める方針を示しているが、こうした措置を安全性の保証とみなすことはできない。
Kimi K3.1 Proは発表時点で、Kimi.aiとモバイルアプリに加え、Work、Code、APIから利用できる。ただし、企業向けの管理設定では、管理者による有効化が初期状態でオフになっている。また、Kimi Codeでは既存の会話からモデルを切り替える際、新しいセッションを開始することが推奨されている。接続時のプロトコル変換によって挙動が変わる可能性もあるため、既存の開発環境へ導入する場合は互換性の確認が必要だ。
今後の重要な節目となるのが、2026年11月4日までに予定されている学習済み重みの公開だ。Artificial Analysisが言及する「オープンウェイトモデルで最上位」という評価は、実際に重みが公開され、その時点でも順位が維持されていることが前提となる。公開後は、第三者がライセンスや利用条件を確認できるか、独自の環境で性能を再現できるかが焦点となる。特に、長時間のツール操作を伴う業務で、成果物の完成度と総費用がクラウド上の評価結果に見合う水準となるかが重要だ。これらを検証できて初めて、Kimi K3.1 Proを別の運用環境に移して活用する価値を、具体的に判断できるようになる。
