Alibabaが新型推論AI「QwQ」をオープンソースで公開、OpenAIのo1を一部性能で凌駕

2024年11月30日

当記事のリンクにはアフィリエイト広告が含まれています。

中国のテクノロジー大手Alibabaが、新しい推論特化型AI「QwQ-32B-Preview」を発表した。このモデルは、OpenAIの注目を集める推論モデルo1に対抗する性能を持ち、特定の数学的推論タスクではo1-previewを上回る結果を示している。

高度な推論能力を備えた新世代AI

QwQ（Qwen with Question)-32B-Previewは、325億のパラメータを持ち、約32,000語の文脈を処理できる大規模言語モデルである。Alibabaの研究チームは、このモデルの開発過程で重要な発見をしたことを報告している。十分な思考時間を与え、問いかけと内省を重ねることで、モデルの数学的理解と問題解決能力が飛躍的に向上することが判明したのだ。この考えがQwQ-32B-Previewの開発では取り入れられている。

従来の大規模言語モデルと異なり、QwQは回答を導き出す過程で自己検証を実施する。具体的には、問題に直面した際に、まず計画を立て、複数の思考経路を探索し、自身の仮定を検証しながら結論に至る。この手法はモンテカルロ木探索（MCTS）と自己反省メカニズムを組み合わせたもので、より信頼性の高い回答を可能にしている。処理時間は増加するものの、この「熟考」のプロセスにより、従来のモデルが陥りやすい誤りを回避することができる。

こうした特徴は、AIの新しい発展方向を示唆している。単純な規模の拡大やデータ量の増加だけでなく、推論プロセスの質的向上が、次世代AIの重要な焦点となる可能性が高い。QwQの開発者たちが「真の学びの美しさは、能力と謙虚さを併せ持ち、知識を持ちながらも常に問いかけ続けることにある」と述べているように、このアプローチは人間の学習過程により近い特徴を持っている。

QwQ-32B-Previewの性能を語る上で特筆すべきは、AIMEやMATHテストにおいてOpenAIのo1-previewモデルを上回る性能を示したことだ。AIMEは数学的問題解決能力を評価する重要なベンチマークで、代数、幾何学、確率論など中等教育レベルの数学を網羅的にテストする。また、科学的推論を評価するGPQAベンチマークにおいてもo1-miniを凌駕する結果を示している。これらのテストでの成功は、モデルの論理的思考能力と問題解決能力の高さを実証している。

(Credit: Alibaba)

ただし、現状のQwQ-32B-Previewには、いくつかの技術的な課題も存在する。言語の予期せぬ切り替えや、循環的な推論に陥るケース、一般常識を要する推論での性能低下などが報告されている。また、LiveCodeBenchなどのコーディング関連のベンチマークでは、o1には及ばないものの、GPT-4やClaude 3.5 Sonnetなどの最先端モデルを上回る性能を示している。これらの結果は、推論AIモデルの発展が始まったばかりであり、さらなる改善の余地が大きいことを示唆している。

オープンソースと商用利用の両立

QwQ-32B-Previewは、Apache 2.0ライセンスの下で公開されており、商用利用が可能だ。これはOpenAIのo1が非公開であることと対照的な立場と言える。Alibabaのこの決定は、AIモデルの「オープン性」に関する業界の重要な議論に一石を投じるものとなっている。

モデルの公開性は段階的な尺度で評価することができ、最も閉鎖的なAPI利用のみの形態から、モデル、重み付け、訓練データまですべてを開示する完全公開まで幅広い。QwQ-32B-Previewは、この中間に位置づけられる。モデルの一部コンポーネントは公開されているものの、システムの完全な再現を可能にする全要素は開示されていない。これにより、商用利用の自由度を確保しながら、企業の知的財産も保護するバランスの取れたアプローチを実現している。

AI開発プラットフォームのHugging Faceでは、モデルのダウンロードとオンラインデモの利用が可能となっている。この利用可能性は、開発者コミュニティによる検証や改良を促進する重要な要素となっている。特に、モデルの「思考プロセス」が隠蔽されていない点は、研究者や開発者がモデルの推論方法を理解し、改善する機会を提供している。

ただし、中国企業として、QwQ-32B-Previewには独自の制約も存在する。中国のインターネット規制当局による審査対象となっており、モデルの応答は「社会主義の核心的価値観を体現」することが求められる。これは特定の政治的トピックに対する慎重な対応となって現れており、たとえば台湾に関する質問では中国政府の公式見解に沿った回答を、天安門広場に関する質問には応答を控えるなどの特徴が見られる。

この状況は、AIモデルの開発と展開が技術的な側面だけでなく、政治的、文化的な文脈にも大きく影響されることを示している。中国のDeepSeekが最近リリースした推論モデルも同様の特徴を示しており、これは中国発のAIモデルに共通する特徴となりつつある。

商用利用可能なオープンソースモデルの登場は、AIの民主化と産業応用の促進に重要な一歩を示すものである。しかし同時に、その使用には地政学的な考慮や倫理的な配慮が必要であることも示唆している。このバランスをどのように取っていくかは、今後のAI開発における重要な課題となるだろう。

Sources