World Labsが、実機で記録した一つのロボット作業を数千の条件へ展開し、方策の訓練と評価に使う「Real-to-Sim-to-Real（R2S2R）」エンジンを披露した。シミュレーションだけで学んだALOHAの箱詰め方策を実機へ移したほか、別の連続動作デモでは4種類のロボットで5種類の作業をそれぞれ1時間、人の介入なしで動かしたという。さらに、仮想環境で測った方策の優劣や失敗しやすい場所が実機でも対応したと報告している。実機を動かす前に失敗候補を落とせるなら、ロボット開発で時間と費用を奪ってきた評価工程が大きく変わる。
同社が2026年7月28日に示したのは、7月21日に買収したロボット・シミュレーション企業SceniXの技術を取り込んだ初期結果である。発表は論文ではなく、技術の詳細やタスク別の成功率も開示されていない。それでも、生成した世界を「訓練データの供給源」と「方策を選別する試験場」の両方に使った点は、映像生成を中心とする世界モデルとは異なる狙いをはっきりさせている。
見た目と物理を同時に合わせるReal-to-Sim
R2S2Rは、実機のロボットとセンサー、周囲の環境、操作対象、タスクの実演を取り込み、操作可能な仮想世界へ組み直す。そこから照明やカメラ視点を変え、物体の数と配置、散らかり方、摩擦などの物理特性、ロボットの初期状態も動かす。一つの記録から、現場で繰り返し用意するのが難しい数千の条件を生成する仕組みだ。
目標は、元の場面に似た映像を作ることではない。ロボットが観測する像と、接触した物体がどう動いて作業が成功または失敗するかを同時に合わせる。World Labsは、実機とシミュレーションに同じ行動列を与えるオープンループ試験を行い、観測、物体の応答、最終結果を照合した。公開例には、剛体の立方体、関節を持つ箱、変形するケーブルが含まれる。
この区別は世界モデルの用途を左右する。同社の分類では、レンダラーは人が見る画像を作り、シミュレーターはソフトウェアが操作できる幾何、物理、動力学を持つ状態を出す。ロボット学習では、見た目が自然でも縮尺や衝突判定が誤っていれば、そこで覚えた動作は実機で破綻する。R2S2Rは、タスクの成否に関わる部分を測定と生成モデルの組み合わせで再現し、このずれを狭めようとしている。
実機データゼロで5タスクを1時間動かした
訓練側では、ALOHAロボットによる両腕の箱詰め方策を、実世界の訓練データを使わずシミュレーション内で学習させ、実機へ直接移した。仮想世界なら、物体配置や視点、速度、難易度を意図的に変え、成功例と失敗例を繰り返し与えられる。物体の正確な状態や接触、力といった、実機では記録しにくい教師情報も利用できる。
別の連続動作デモでは、RB-Y1が冷蔵庫の周囲へ電源コードを回し、YAMがケーブルを抜き差しした。Flexivは試験管を移し、xArmは密集した山からマーカーと鉛筆を1本ずつ取り出した。World Labsによると、4種類の実機で行った5タスクはいずれも1時間、人の介入なしで続いた。ケーブルの変形、狭い位置への把持、似た形の物体が重なる状態まで対象にした点で、硬い物体を短時間動かすデモより条件は広い。
ただし、1時間の連続動作が示すのは、公開された作業と機体で方策が止まらなかったという結果である。家庭や倉庫のように人や物が予測不能に動く環境での長期信頼性や、別の作業へ移したときの成功率までは分からない。R2S2Rを特定の方策やロボットに依存しない仕組みとする同社の説明は、より広い条件で確かめる必要がある。
2,000回の仮想試行が評価を変える
評価実験には、ALOHAが両腕の間で立方体を受け渡す作業を使った。各チェックポイントについて、シミュレーションでは2,000回、実機では100回を実行した。内訳は学習時の分布に含まれる位置がそれぞれ1,000回と50回、学習時に除外した位置が同じく1,000回と50回である。
World Labsが重視したのは、仮想と実機の成功率を同じ数値にすることではない。どの方策が優れているか、訓練が進むと性能が伸びるか頭打ちになるか、どの位置で失敗するかという、開発判断に必要な関係を揃えることだ。同社によれば、異なる方策アーキテクチャと訓練構成でも相対順位が保たれ、立方体の端をつかんで辛うじて成功する例や、対応する失敗も両環境で再現された。
実機試験では、試行のたびに物体を戻し、失敗から復旧し、機体を保守しなければならない。シミュレーションで弱いチェックポイントを先に落とし、有望な候補へ実機時間を集中できれば、評価の回数を増やしながら物理作業を減らせる。R2S2Rの価値は、仮想世界の成功率そのものより、実機へ進める方策を選ぶ判断が一致するかどうかにある。
初期結果に残る検証の空白
公開された資料には、シミュレーターの構築に必要な実機データ量、学習と生成の計算コスト、5タスクの試行回数と絶対成功率がない。手法は独自技術とされ、再現可能な論文や第三者による検証も示されていない。選ばれたデモ映像と1時間の連続運転だけでは、失敗頻度の低い作業をどの程度まで置き換えられるかは判断できない。
生成シミュレーター固有の難しさも残る。World Labs自身、見た目が正しい生成物でも、形状の自己交差や縮尺の誤りによって物理計算が不自然になり得ると説明している。剛体、変形物、流体、布が同時に関わる複合物理は、単一分野の計算より大幅に高価だ。環境を増やす速度と、接触の忠実度は別々に測らなければならない。
次の判断材料は、公開タスクでの完全な成功率分布と、シミュレーション構築に要する時間・費用である。さらに、未整理の現場や別機種でも方策の順位と失敗領域が対応すれば、R2S2Rは訓練用データの生成器から、実機投入前の標準的な評価基盤へ近づく。
