動画生成AIを手がけるRunwayは2026年11月11日、指示やカメラ映像を基にロボットの動作を生成するAIモデル「Praxis-1」の重みとコードを一般公開した。商用利用も認めるApache 2.0ライセンスで提供され、開発者はモデルを自由に実行し、自分の用途に合わせて追加学習できる。9月の発表以降、提携企業が試用してきたモデルを、外部の開発者も利用できるようになった。
Praxis-1の特徴は、動画の続きを予測するAIの能力をロボットの制御に応用した点にある。一般的な動画から学習した知識をロボットの行動生成に生かせるため、開発者はゼロからモデルを構築する必要がない。ただし、対象となる機体に合わせた追加学習は必要であり、Runwayが公表した成功率も、そうした調整を済ませたモデルをシミュレーションで評価した結果だ。
モデルの重みとコードをApache 2.0で一般公開
Runwayは9月にPraxis-1を発表し、Noble Machines、Standard Bots、Ultraの3社が試用を進めていた。今回の一般公開では、モデルの重みに加え、推論と追加学習に必要なコードも利用できるようになった。追加学習には、モデル全体のパラメータを更新するフルファインチューニングと、少数のパラメータを追加して調整するLoRAの両方式が用意されている。
Runwayは提供経路としてGitHubやHugging Faceのほか、LeRobot、vLLM-Omni、Reactorを挙げている。開発者は学習済みモデルを基盤として利用し、自分のロボットや作業内容に合わせて調整できる。ただし、モデルを実行できることと、実際のロボットで目的の作業をこなせることは別だ。実用化には、機体への適合と作業環境に応じた性能評価が欠かせない。
動画の未来予測をロボット制御に応用する仕組み
Praxis-1は、未来の映像とロボットの行動を同時に予測する「ワールドアクションモデル」だ。中核となるのは動画予測を担う基盤モデルで、その内部情報を約3億1,400万パラメータの行動生成モジュールが読み取り、ロボットの動作に変換する。さらに、機体ごとに異なる入力と出力を変換する仕組みを備えており、モデル全体の規模は約270億パラメータに達する。
Runwayは公開した技術報告で、小規模な行動生成モジュールが、未来の映像を予測する動画モデルの内部状態を利用する仕組みだと説明している。モデルには作業指示、カメラ映像、ロボットの姿勢を入力する。通常は15Hzで24ステップ、時間にして1.6秒分の動作を生成し、初回の推論では21ステップ分を出力する。
学習は複数の段階に分かれている。最初に一般的な動画で事前学習を行い、続いて人の手やロボットが映る動画を使って学習を進める。その後、動画予測と行動生成を共同で学習し、最後に対象となるロボットのデータで追加学習する。行動生成を学習する段階でも動画予測の機能を維持することで、映像から獲得した知識をロボット制御に活用する設計だ。
もっとも、動画を見るだけでロボットの操作を習得できるわけではない。例えば、DROID向けモデルの追加学習には、成功した操作の実演データ約277時間分が使われた。学習には128基のNVIDIA H100 GPUを投入し、5万回の更新を行っている。新しい機体に導入する際には、その機体に適した実演データの収集と、追加学習に必要な計算資源を確保する必要がある。
成功率46.2%と80.0%は異なる条件での評価結果
Runwayが公表した性能評価では、DROID向けモデルがRoboLab-120で46.2%、RT-1向けモデルがSimplerEnvで80.0%の成功率を記録した。ただし、どちらも対象機体のデータで追加学習した後の結果であり、評価に用いたシミュレーション環境や課題も異なる。技術報告の第6節と第8.1節に記載された条件を整理すると、次のようになる。
| 対象モデル・評価 | 追加学習の条件 | 評価環境・試行回数 | 成功率（Runway報告） |
|---|---|---|---|
| DROID向けモデル／RoboLab-120 | 成功実演約277時間、H100を128基使用、5万回更新 | シミュレーション、1,200試行 | 46.2% |
| RT-1向けモデル／SimplerEnv | RT-1の全訓練データ約7万8,000エピソード・95時間、H100を32基使用して約28時間・3万ステップ学習 | 視覚的一致条件（visual matching）でのシミュレーション、4課題・864試行 | 80.0% |
これらはRunway自身が報告したシミュレーション上の成績であり、実機で同じ成功率が得られることを示すものではない。また、評価対象のロボットや課題、試行条件が異なるため、46.2%と80.0%という数値を直接比較してモデルの優劣を判断することもできない。
特に注意したいのは、RT-1向けモデルの評価条件だ。RT-1はPraxis-1の事前学習や中間学習には含まれていなかった機体だが、性能評価に先立ち、RT-1の訓練データを用いた追加学習が行われている。つまり、80.0%という成功率は、未調整のモデルを未知の機体にそのまま適用して得られたものではない。なお、Runwayは同じSimplerEnvの評価で、元のRT-1モデルの成功率を52.4%と報告している。
こうした結果は、動画で事前学習したPraxis-1が、異なるロボットの制御にも応用できる可能性を示している。一方で、実際の導入に必要な追加学習の負担も明らかになった。公開されたモデルは開発の出発点にはなるものの、目的の機体や作業環境で同等の性能を得るには、個別の調整と検証が必要だ。
推論には80GB GPUが必要、軽量化モデルも開発
Praxis-1を利用するうえでは、実行環境の要件も重要になる。技術報告によると、標準のbf16形式のモデル重みは54.4GBで、80GBのメモリを搭載したGPU1基で動作する。H100での通常の推論処理にかかる時間は約0.55〜0.6秒で、生成される動作は1.6秒分に相当する。標準では複数の動作をまとめて生成し、順次実行する方式を採用している。これらは推論時の条件であり、前述した追加学習に必要な計算資源とは区別する必要がある。
計算負荷を抑えるため、Runwayはモデル内部で入力に応じて使い分ける専門モジュール（routed experts）をNVFP4形式に量子化し、追加学習したモデルも評価している。このモデルの重みは17.5GBで、標準のbf16形式より大幅に小さい。600試行のうち279回成功し、成功率は46.5%だった。一方、同じ追加学習済みチェックポイントをbf16形式で実行した場合は287回成功し、47.8%を記録した。技術報告ではNVFP4版のチェックポイントを今後公開するとしているが、この記述だけでは現時点の配布状況までは確認できない。
Runwayは、実際のロボットを使った動作例も公開している。技術報告では、双腕ロボットのYAMや単腕ロボットのFrankaが、カップを逆さに置いたり、箱のふたを閉じたりする様子を、1倍速の映像で紹介した。いずれも遠隔操縦を使わずに作業している。ただし、これらは実機での動作を示すデモであり、前述のシミュレーション評価のように、多数の試行から算出した成功率ではない。
モデルには依然として課題も残る。Runwayは、見た目が似た物体を取り違えたり、曖昧な指示を正しく解釈できなかったりする場合があると説明している。複数の工程からなる作業についても、各工程に個別の指示を与えれば実行できる一方、一つの指示だけで一連の作業を完了することは難しいという。長期的な行動計画や自己改善の能力は、今後の研究課題に位置付けられている。
Praxis-1の一般公開により、開発者は動画で学習した大規模モデルを基盤として、ロボット制御の開発に取り組めるようになった。ただし、現段階で示されているのは、機体ごとの追加学習によって得られたシミュレーション上の性能と、限定的な実機デモだ。今後は、追加学習に必要なデータや計算資源をどこまで削減できるかに加え、複数工程を含む作業を実環境でどの程度安定して実行できるかが、実用性を判断する重要な指標となる。
