AI研究企業のNous Researchは2026年11月、中国のAlibabaが開発した大規模言語モデル（LLM）「Qwen3.8-27B」を追加学習した「Arete-27B」を公開した。中国製AIモデルの回答に見られる政治的な偏りを修正し、西側の価値観を反映させることを目的としたモデルで、学習済みの重みだけでなく、評価データや学習データも公開している。
Nous Researchの発表によると、同社が実施した評価では、中国政府の公式見解を自らの立場として採用する回答の割合が、元のモデルの22%から0.9%へと大幅に低下した。一方、回答に必要な事実がどれだけ含まれているかを測るスコアは、5点満点中2.32点から2.98点に改善した。ただし、この2つは異なる指標であり、公式見解に沿った回答が減ったからといって、事実の正確さや政治的中立性が保証されたわけではない。今回の研究は、追加学習によってAIモデルの回答傾向を大きく変えられる可能性を示す一方、その変化をどう評価すべきかという課題も浮き彫りにしている。
中国政府の公式見解を採用する回答が22%から0.9%に減少
Arete-27Bのモデルカードによると、Nous Researchは回答の傾向を評価するため、「公式見解の採用率」と「事実スコア」という2つの指標を用いた。公式見解の採用率は、回答が中国政府の説明を自らの立場として支持したり、事実と同等に妥当な見解として扱ったり、事実の代わりに提示したりした割合を表す。政府の見解を出典付きで紹介するだけの場合は、採用したとは判定されない。一方、事実スコアは各質問に設定された必須事実を回答がどれだけ再現できたかを5点満点で評価するもので、一般知識全般の正答率を示す指標ではない。
以下は、元のQwen3.8-27BとArete-27Bを同じ条件で比較したNous Researchの評価結果である。
| モデル | 公式見解の採用率 | 事実スコア（5点満点） |
|---|---|---|
| Qwen3.8-27B | 22% | 2.32 ± 0.03点 |
| Arete-27B | 0.9% | 2.98 ± 0.03点 |
評価には英語の質問803問を使用し、各モデルでそれぞれ5回の実行を行った。推論モードは無効、温度パラメーターは0、最大出力長は32,000トークンに設定されている。表中の「±」は5回の実行間における標準偏差を表しており、信頼区間ではない。また、回答の採点にはAIモデルを使用しているため、これらは開発元による内部評価の結果であり、第三者が独立して再現性を確認したものではない。
同じ条件で比較すると、Arete-27Bでは中国政府の公式見解を採用する回答の割合が21.1パーセントポイント減少し、事実スコアは0.66点上昇した。つまり、回答の政治的な立場だけでなく、指定された事実を再現する能力にも変化が見られたことになる。ただし、公式見解の採用率が0.9%まで下がったことは、回答がほぼすべての事実を正確に説明できるようになったことを意味しない。また、この指標は中国政府の公式見解に関するものであり、あらゆる政治的な偏りが解消された証拠にもならない。
約5,280万トークンの追加学習で何を変えたのか
Arete-27Bの基盤となったのは、Alibabaが開発した270億パラメーター規模のQwen3.8-27Bだ。Nous Researchは、中国で学習されたモデルに西側の価値観を強く反映させることを目的として、既存モデルに追加学習を施したと説明している。新たな基盤モデルを一から構築するのではなく、学習済みモデルの知識や能力を活用しながら、政治的に敏感な質問に対する回答傾向を変更する試みである。
追加学習には、望ましい回答例を手本としてモデルを訓練する「教師あり微調整（SFT）」を採用した。教師モデルには「Inkling」を使用し、同モデルが生成した回答を基に約5,280万トークンの学習を実施している。学習データを2巡する2エポックで、総ステップ数は1,202、コンテキスト長は64kトークンだった。強化学習や選好最適化は使用せず、モデルのアーキテクチャにも変更を加えていない。
ただし、学習対象を特定の少数の層に限定したわけではない。Nous Researchは言語モデル部分のすべての重みを更新しており、学習データがテキストのみだったため、画像処理を担う視覚エンコーダーは固定している。したがって、比較的小規模な追加学習で回答傾向が大きく変わったとしても、政治的な偏りがモデル内部の特定の層や少数のパラメーターに集中していたと証明されたわけではない。今回確認されたのは、あくまでこの追加学習の手法と評価条件において、モデルの回答が変化したという事実である。
評価基準と公開データから見える限界
Nous Researchは、政治的な偏りと事実の再現度を測るため、7つの分野にわたる803問の評価セットを作成した。対象は表現の自由、国家イデオロギー、国家と自由市場の関係、教育、データプライバシーと監視、民主主義、環境政策である。各質問には、日付が確認できる政府資料や報道、研究報告などを基に、2〜4個の必須事実を設定した。モデルの回答がこれらの事実を正しく含んでいるかを調べるとともに、中国政府の公式見解をどのように扱っているかも評価している。
採点には「Grok 4.7」を使用し、判定時には回答を生成したモデルの名前を知らせない方式を採った。Nous Researchによると、事前に25問を人手で採点し、AIによる判定結果と比較しながら採点基準を3回修正したという。また、学習用と評価用の質問が重複しないようにする措置も講じている。ただし、人手による検証は25問の試行に限られており、最終的な評価の大部分をAIに委ねている点には留意が必要だ。
事実スコアの算出方法にも特徴がある。採点システムは各質問に設定された必須事実について、「述べている」「欠けている」「事実に反する内容を述べている」の3つに分類する。すべての必須事実を述べれば5点となるが、事実に反する記述が1つでもあれば、ほかの事実を正しく説明していても0点になる。また、必須事実を1つも述べなかった場合や、回答しなかった場合も0点として扱われる。
Nous Researchの評価では、0点となった質問数が803問中359問から216問に減少した。ただし、0点には無回答や必要な事実を含まない回答も含まれるため、そのすべてを虚偽の情報を述べた回答とみなすことはできない。同様に、Arete-27Bの平均事実スコアが2.98点だったという結果を、そのまま約60%の正答率に換算することも適切ではない。さらに、公式見解の採用率は中国政府の説明に関する指標であり、ほかの国の政治的な主張や、あらゆる種類の偏りを包括的に測定したものではない。
学習データそのものの品質についても、Nous Researchは重要な留保を明らかにしている。公開されたデータセットの説明によると、教師モデルが生成した回答は別のLLMによって審査され、重大な問題があるものを除外した。しかし、採用されたデータの大半には、なお事実誤りを意味する「factual_error」タグと、正確さの評価値「2」が付いているという。つまり、学習データの選別を通過した回答であっても、事実の正確さが保証されているわけではない。
公開データには、さらに厳しい基準で回答を選別できるよう、評価スコアや問題点を示すタグも含まれている。一方、公開されたデータ全体と、実際のモデル学習に使われたサブセットとの正確な対応関係については、なお確認の余地がある。また、学習データに事実誤りを示すタグが存在することだけを根拠に、最終モデルの特定の回答が誤っていると判断することはできない。その誤りが学習データに由来するかどうかについても、別途検証が必要だ。
AIモデルの価値観は選べても、事実の正確さは別問題
今回の研究が示したのは、既存のオープンウェイトモデルに追加学習を施すことで、特定の政治的な立場を採用する回答の割合を大きく変えられる可能性である。一方、モデルを実際に利用する開発者や企業にとっては、回答がどのような立場を取るかだけでなく、必要な事実を正しく説明できるか、想定する言語や業務で十分な性能を発揮するかも重要になる。Nous Researchは、政治的な質問への回答傾向だけでなく、汎用的な能力やAIエージェントとしての性能についても比較を実施している。
同社の内部ベンチマーク「Hermes Bench」では、元のQwen3.8-27Bが65.77%、Arete-27Bが65.60%となり、差はわずか0.17パーセントポイントだった。Nous Researchは、この差を測定上のばらつきの範囲と解釈している。また、AIエージェントの能力を評価する「Terminal-Bench-2.1」では、元モデルの67%に対してArete-27Bは70%を記録した。ただし、同社はこの見かけ上の改善を追加学習の成果として主張していない。両モデルは同社のハードウェア上で同じ設定を使って比較されているものの、公式ベンチマークとは推論設定や評価環境が異なる場合があり、数値を直接比較する際には注意が必要だからだ。
これらの結果は、少なくともNous Researchが実施した評価では、政治的な回答傾向を変更しても汎用性能に大きな低下が見られなかったことを示している。しかし、すべての言語や用途で能力が維持されたと結論付けることはできない。特に、今回の政治的な偏りに関する評価は英語の質問を中心に構成されており、日本語で同様の効果が得られるかは明らかになっていない。
技術メディアのThe Decoderは、2024年の「Hermes 3」がシステムプロンプトで指定された世界観に適応する設計を志向していたことと、今回のArete-27Bが西側の価値観を明示的に反映させたことを対比している。オープンウェイトモデルの普及によって、開発者が自分たちの求める価値観に合わせてAIモデルを調整する選択肢は広がりつつある。ただし、どの価値観を採用するかという判断と、モデルが事実を正確に伝えるかどうかという問題は分けて考える必要がある。
Arete-27Bでは、モデルの重みに加えて評価・学習データも公開されているため、第三者が独自の条件で性能や回答傾向を検証できる。今後の焦点は、英語の政治・価値観に関する質問で観測された改善が、日本語や実際の業務でも再現されるかどうかだ。モデルの価値観を調整できることと、信頼できる情報を得られることは同義ではない。AIモデルを選定する際には、回答の立場と事実の正確さをそれぞれ評価することが欠かせない。
