AIモデルが自らの重みを書き換え、数学問題の正答率を57.2%から最高63.8%へ引き上げた。Jiajun Fan氏ら11人の研究チームが、270億パラメーターの「Qwen3.5-27B」を使った実験で確認した成果だ。研究チームは2026年11月16日、未査読の論文「Language Models Can Rewrite Their Own Weights」(DOI: 10.48550/arXiv.2611.21885)をarXivに投稿し、11月18日に第2版へ改訂した。評価には学習・練習に使用していない数学490問を用いており、最高値を記録した試行では正答率が6.6ポイント向上した。ただし、この実験では8回とも同じ未編集の重みから探索を始めており、改良したモデルが次々と自分自身を改善していく過程を実証したものではない。
AIが自分の重みを調べ、試験用コピーを書き換える
AIモデルの「重み」とは、入力から回答を生成する際の計算に使用するパラメーターである。通常、モデルの性能を改善するには、学習データと損失関数を用いて勾配を計算し、重みを更新する追加学習などが必要になる。Fan氏らはこれとは異なり、Qwen3.5-27Bに採点済みの練習問題の結果とコードを実行できる環境を与え、モデル自身に重みの変更方法を考えさせた。モデルは問題を解く際の「隠れ状態」と呼ばれる各層の中間計算結果を調べ、変更すべき重みとその修正方法を判断する。実際の書き換えは、モデルが生成したPythonコードによって行われる。
重要なのは、編集方法を考えるモデルと、編集されるモデルの関係だ。編集案を考える側の重みはセッション中ずっと固定され、変更が加えられるのはツールを通じて実行する同じモデルの試験用コピーである。モデルは変更後のコピーに数学問題を解かせ、元の状態と成績を比較しながら編集案を検討できる。この過程では誤差を逆伝播させる勾配計算を使わず、前向き計算とPythonコードの実行だけで重みを変更する。ただし、探索や検証には計算資源が必要であり、追加学習の計算負荷が完全になくなるわけではない。一度変更した重みを保存すれば、その変更は次回以降の推論にも反映される。
関連する先行研究として、Rikiya Takehi氏(武樋力哉氏)らが11月2日に発表したWeight-Space Programmingがある。この実験では、より高性能な外部モデルであるGPT-6 Astraに、Qwen3.5-0.8Bの重みを編集させた。50回の前向き計算を許したところ、数学ベンチマーク「MATH-500」の正答率が7.9%から48.1%へ向上したという。これに対し、Fan氏らの研究は、重みの編集方法を考えるモデルと編集されるモデルに同じQwen3.5-27Bを使用している点が異なる。
8回の試行で3つの編集案を提出、最高63.8%に向上
研究チームは二つの実験手順で、モデルが自分の重みを改善できるかを調べた。最初の手順では、モデル自身が採用を決めた編集によって、数学問題の正答率が57.2%から58.3%へ1.1ポイント上昇した(p = 0.038)。続く第2の手順では、1回の探索時間を3時間とし、前向き計算を最大20回、コード実行を最大200回に制限した。探索中に生成できる回答は最大4,096トークンで、最初の診断には256問を使用した。さらに、モデルが提出を決める前に、編集作業から隔離された練習用の256問について各2回答を生成させ、その結果を踏まえて編集案を提出するか撤回するかをモデル自身に判断させた。
第2の手順では、毎回同じ未編集の重みから始める8回の試行を実施し、モデルが編集案を提出したのは3回だった。このうち2回の編集で、490問の評価において統計的に有意な改善が確認された。評価では、未編集モデルと編集後のモデルに同じ乱数シードを使用し、各問題につき8回答を生成した。1回答の上限は16,384トークンで、有意差の判定には問題単位の片側置換検定を用いている。提出された3案は、いずれも先行する200問の試験で未編集モデルを上回るという条件を満たしていた。
論文の付録E.9によると、残る5回のうち3回は採用できる編集案が見つからず、2回は提出前の確認結果を受けてモデルが案を撤回した。撤回された案は490問の最終評価には含まれていない。評価時の回答数は各モデルで490問×8回答の3,920件となるが、同じ問題に対する8回答は互いに独立とは限らない。そのため、統計検定では個々の回答を独立した問題として数えず、問題単位で比較している。
第2の手順で得られた結果は以下のとおりだ。
| 試行 | 正答率 | 未編集モデルとの差 | 統計的有意性 |
|---|---|---|---|
| 未編集モデル | 57.2% | — | — |
| 1回目 | 57.8% | +0.5ポイント | p = 0.25 |
| 2回目 | 61.3% | +4.0ポイント | p < 10⁻⁵ |
| 3〜7回目 | 編集案を撤回 | — | 評価対象外 |
| 8回目 | 63.8% | +6.6ポイント | p < 10⁻⁵ |
2回目の改善幅の95%信頼区間は2.3〜5.7ポイント、8回目は5.0〜8.1ポイントだった。最高値を記録した8回目について、同じ問題と乱数シードで生成した回答を比較すると、編集後のモデルだけが正解した組み合わせは439件、未編集モデルだけが正解した組み合わせは182件だった。
評価に使用した490問は、練習問題と同じ問題プールから別に取り分けた問題で、文面が重複するものを除外した後の数である。さらに、練習問題の言い換えと判断された8問を除いた場合も、2回目と8回目の改善は統計的に有意だった。
なお、論文では8回のセッションを通じて「使用するモデル」の正答率が段階的に向上したと説明している。しかし、各セッションの探索は毎回未編集の重みから始まり、採用された編集案を使用モデルに反映する構成だった。したがって、実際に改変済みの重みを次の探索へ引き継ぎ、変更を積み重ねた場合の性能向上を測定した結果とは区別する必要がある。
重みの変更で、回答が途中で終わる割合も減少
最も高い正答率を記録した8回目の試行で、モデルは線形アテンションを使用する全48層の「時間ステップ・バイアス」を、それぞれ0.5増やした。このパラメーターは、過去に処理した情報が後続の計算にどの程度残るかに関係する。変更後のモデルでは、16,384トークンの上限に達して回答が打ち切られる割合が、未編集時の33.6%から26.1%へ低下した。正答率の向上とともに、長い推論を最後まで完了できないケースも減ったことになる。
2回目の試行では、モデルは練習問題に対して回答を完了できた場合と、トークン上限に達した場合の隠れ状態を比較した。その結果、両者の違いが現れる方向を特定し、第63層にある二つの出力行列を、その方向に沿った成分が弱まるように変更している。いずれの編集も、モデル自身が計算結果を分析し、具体的な重みの修正方法を決めたものだ。
研究チームは変更前後のモデルを同じ評価条件で比較しているため、少なくとも今回の実験では、重みの編集によって正答率が改善し、回答がトークン上限に達する割合も減少したといえる。8回目の編集について、モデル自身は過去の情報の影響を早く減衰させることで、長い推論の途中で行き詰まりにくくなったと解釈している。ただし、トークン上限に達する回答が減ったことが、正答率の改善にどの程度寄与したかは個別に検証されていない。
破損したモデルを修復し、画像問題の正答率を7.3%から70.2%へ回復
研究チームは、正常なモデルの性能改善とは別に、人工的に重みを破損させたQwen3.5-27Bの修復実験も行った。64層のうち第30層にある出力行列の8行をノイズで置き換え、性能を大幅に低下させたモデルを用意した。修復を担当するのは破損していない同型モデルで、破損前の重みの値は参照できない。モデルには重みの一部が壊れていることだけを伝え、テキストの数学問題を解かせながら、破損箇所と修復方法を探らせた。
修復後の性能評価には、画像を扱う6種類のベンチマークから各100問、計600問を使用した。各問題につき同じ乱数シードで1回答を生成し、上限を16,384トークンに設定している。その結果、破損によって7.3%まで低下していた全体の正答率は、修復後に70.2%まで回復した。破損前のモデルの正答率は84.3%であり、その約83%に相当する性能を取り戻したことになる。
特に、画面上の指定された対象を見つける「ScreenSpot-v2」では、破損直後の正答数が100問中0問だったのに対し、修復後は89問に正解した。破損前の93問に近い水準まで回復している。修復方法を探す際に使用したのはテキストの数学問題だけだったが、その効果は画像を扱う複数の課題にも及んだ。これは、個別の数学問題への適応ではなく、破損したモデルの機能そのものを回復させたことを示す結果である。一方、正常なモデルの重みを改善した実験については、数学以外の課題でも性能が向上するかは調べられていない。
モデルの規模によって自己編集の成否が分かれる
研究チームは、Qwen3.5シリーズの20億、40億、90億、270億パラメーターモデルでも自己編集の能力を比較した。20億パラメーターのモデルは重みの編集案を作成できず、40億パラメーターのモデルは変更後の試験で正解できる問題がなくなったため、案を撤回した。90億パラメーターのモデルが提出した編集案では、200問の評価で正答率が47.5%から0.0%へ低下した。今回の条件では、自己編集を成功させたのは270億パラメーターのモデルだけだった。
ただし、270億パラメーターのモデルも、ほかのモデルと共通の16,384トークン上限で編集を探索したセッションでは、提案を撤回している。有効な編集案を見つけた試行では探索時の上限が4,096トークンに短縮されており、その分、限られた時間内でより多くの試験を実行できた。したがって、成功の要因をモデルの規模だけに求めることはできず、探索時の計算量や試行回数も関係している。
今回の研究は、言語モデルが勾配計算や追加学習を行わず、自らの内部状態を調べて重みを変更し、数学問題の正答率を改善できることを示した。従来の追加学習とは異なり、変更の効果を重みに保存できるため、一度編集すれば、その後の推論で毎回同じ探索を繰り返す必要はない。
2026年11月20日時点では、別の研究チームが同じ条件で追試した公開結果は確認できていない。また、今回の8回の試行はそれぞれ未編集の重みから始まっており、変更済みモデルを次の編集の出発点にする実験は行われていない。今後は改変済みの重みを引き継ぎながら編集を重ね、数学の成績がさらに向上するか、すでに得られた改善が維持されるかを測定することが重要になる。あわせて、編集に使用していない種類の課題でも性能を評価することで、特定の問題への改善にとどまらず、モデル全体の能力を継続的に高められるかを判断できる。



