カーネギーメロン大学の研究チームは、私たち人間が入力するテキストの指示だけで、物理的に安定し、実際に一つ一つのブロックを積み上げて完成させることが可能なレゴモデルを生成する「LegoGPT」という、画期的なAI技術を開発した。
「LegoGPT」とは何か？ なぜ画期的なのか？
LegoGPTの核心は、テキストプロンプト、つまり私たちが「こんなレゴを作ってほしい」と文章で指示するだけで、AIが自動的にレゴモデルを設計してくれる点にある。 例えば、「流線型で細長い船」や「クラシックなスタイルの車で、目立つフロントグリル付き」といった具合だ。
しかし、これまでの3D生成モデルとLegoGPTが決定的に違うのは、その出力結果が「物理的な安定性」を考慮し、「現実世界で組み立て可能」であるという点である。 従来の多くの3DモデリングAIは、見た目は精巧でも、実際に作ろうとすると部品が浮いていたり、構造的に無理があったりして、画面の中だけの存在に終わることが少なくなかった。 LegoGPTは、このデジタルとリアルの間にあった大きな壁を取り払おうとしているのだ。
研究論文の筆頭著者であるAva Pun氏は、既存の3D生成モデルの多くが多様なオブジェクトや詳細なジオメトリの作成に注力しているものの、これらのデジタルデザインは物理的に実現できないことが多いと指摘する。 「適切なサポートがなければ、デザインの一部が崩れたり、浮いたり、接続されないままになったりする可能性があります」と彼女は述べている。LegoGPTは、まさにこの課題に正面から取り組んだ成果と言えるだろう。
LegoGPTはどうやって「倒れない」レゴを作るのか？ その驚異のメカニズム
では、LegoGPTは一体どのようにして、まるで経験豊かなレゴビルダーのように、安定した構造物を設計するのだろうか？その秘密は、最新のAI技術と物理シミュレーションの巧みな融合にある。
基盤となるAI：Meta社のLLM「LLaMA-3.2-1B-Instruct」の活用
LegoGPTの頭脳となっているのは、Meta社が開発した大規模言語モデル（LLM）「LLaMA-3.2-1B-Instruct」である。 研究チームは、このLLMをファインチューニング（特定のタスクに適応させるための追加学習）することで、テキストの指示を理解し、それに基づいてレゴブロックを順序良く配置していく能力をAIに与えた。 具体的には、次にどのブロックをどこに置くべきかを「次のトークン予測」の形で判断させている。
学習データセット「StableText2Lego」：47,000以上の実証済み安定構造
強力なAIを育てるには、質の高い教師データが不可欠である。そこで研究チームは、「StableText2Lego」と名付けられた大規模なデータセットを新たに構築した。 このデータセットには、なんと47,000以上もの物理的に安定したレゴ構造物が含まれており、これらは28,000種類以上のユニークな3Dオブジェクトをカバーしている。 具体的には、本棚、テーブル、椅子、車、船、ギターなど、多岐にわたるオブジェクトが収録されているのだ。
これらの構造物一つ一つに対して、OpenAIの「GPT-4o」を用いて詳細な説明文（キャプション）が生成された。 このキャプションと実際のレゴ構造のペアを大量に学習させることで、LegoGPTはテキスト指示と物理的な形状との関連性を深く理解することができるのだ。
データセットの作成プロセスも非常に手が込んでいる。まず、テキストプロンプトをShapeNetCoreメッシュという3Dモデルの形式に変換する。 これを20x20x20のボクセルグリッド（体積を持つピクセルのようなもの）に落とし込み、初期のレゴブロック配置を決定。 さらに、全体の形状を保ちつつブロック配置に多様性を持たせ、その中から不安定なデザインを除外する。 残った安定したデザインを24の異なる視点からレンダリングし、GPT-4oがそれぞれの説明文を生成するという流れだ。
物理シミュレーション：「重力」と「構造力」を理解するAI
LegoGPTの真骨頂は、単に見た目を模倣するだけでなく、物理法則を理解している点にある。生成されたレゴモデルが実際に自立できるかどうかを検証するために、研究チームは重力や構造的な力をシミュレートする数学的なモデルを導入した。
具体的には、設計の各段階で効率的な有効性チェックと、「物理学を意識したロールバック機能」が作動する。 これは、もしAIが不安定なブロックの配置を予測してしまった場合に、そのブロックとその後に続く全てのブロックを取り除き、安定していた状態まで戻って別の組み立て方を試すという賢い仕組みである。 この機能のおかげで、最終的に生成されるレゴモデルの98.8%という非常に高い確率で、物理的に安定したものが得られると報告されている。 このロールバック機能がない場合、安定するデザインはわずか24%にとどまったという実験結果もあり、その重要性が際立つ。
開発の舞台裏：カーネギーメロン大学の挑戦と成果
この画期的なLegoGPTは、アメリカの名門、カーネギーメロン大学の研究チームによって開発された。 彼らの研究成果は、「Generating Physically Stable and Buildable Lego Designs from Text（テキストからの物理的に安定し構築可能なLEGOデザインの生成）」と題された論文で詳細に報告されている。
研究チームが目指したのは、デジタル空間でデザインされたものが、そのまま物理的な現実世界でも成立するという、いわばデジタルとリアルの架け橋となる技術である。彼らは、既存の3D生成AIが持つ「見た目は良いが作れない」という課題に着目し、レゴブロックという具体的で、かつ多くの人々にとって馴染み深い素材を対象とすることで、この課題解決への大きな一歩を踏み出したのだ。
実験では、LegoGPTは他のAIアプローチと比較しても、物理的に安定したデザインを生成する割合が格段に高いことが示されている。 また、テキストプロンプトに忠実で、エラーのない有効なレゴデザインを100%の確率で生成できたという報告もあり、その性能の高さがうかがえる。
LegoGPTはどこまでできる？ 機能と応用例
LegoGPTは、現時点でも驚くべき能力を持っているが、その可能性はさらに広がりそうだ。
基本的な形状からより複雑な構造物へ
現在は、比較的シンプルな形状のオブジェクト生成が中心であるが、研究チームは今後、より多様で複雑なデザインへの対応を目指している。 初期のレゴブロックを彷彿とさせる素朴さがあるかもしれないが、そのシンプルさの裏には、物理法則を理解するというAIの大きな飛躍が隠されているのだ。
ステップ・バイ・ステップの組み立て指示も
LegoGPTは、完成形だけでなく、それを組み立てるためのステップ・バイ・ステップの指示も生成することができる。 これにより、ユーザーはAIが設計したモデルを、迷うことなく実際に自分の手で組み上げることが可能になる。
ロボットによる自動組み立て、人間による手組みにも対応
生成された設計は、人間が手で組み立てられることはもちろん、ロボットアームによる自動組み立てにも対応している。 研究チームは、実際に2台のロボットアーム（安川電機製GP4ロボットが言及されている記事もあった）を用いて、AIが生成したレゴモデルを組み立てるデモンストレーションも行っている。 これは、将来的に製造業や建設業など、より複雑な組み立て作業への応用も期待させるものだ。
色やテクスチャの指定も可能に
さらに、LegoGPTは色やテクスチャの指定にも対応する機能拡張が進められている。 例えば、「メタリックパープルのエレキギター」といった指示を与えれば、AIがその通りの外観を持つレゴモデルをデザインしてくれるのである。 これにより、創造の幅はさらに大きく広がるだろう。
今後の展望と残された課題
LegoGPTは非常に有望な技術であるが、研究チーム自身もいくつかの限界点と今後の課題を認識している。
現在のバージョンでは、設計空間が20x20x20のグリッド内に限定されており、使用できるレゴブロックの種類も8種類と限られている。 今後は、より多様な寸法や形状のブロック（スロープやタイルなど）に対応し、より大きく複雑なデザインを扱えるようにすることが目標とされている。
また、学習データセット「StableText2Lego」についても、現在は21のオブジェクトカテゴリーが中心であるが、これをさらに拡充し、多様性を増すことで、AIの汎用性と創造性を高めることが期待される。
将来的には、LegoGPTのような技術が、教育分野での教材作成、ホビーとしてのレゴ製作の新しい楽しみ方、さらには工業デザインのプロトタイピングなど、様々な分野で活用される日が来るかもしれない。
あなたもLegoGPTを体験できる？ コードとデータセットの公開
特筆すべきは、カーネギーメロン大学の研究チームが、このLegoGPTのコード、モデル、そして学習に使用したデータセット「StableText2Lego」を、プロジェクトのWebサイトおよびGitHub上で公開している点である。 これにより、世界中の研究者や開発者がこの技術を試し、さらに発展させていくことが可能になる。 オープンソースの力によって、LegoGPTが今後どのような進化を遂げるのか、非常に楽しみである。
LegoGPTの登場は、AIが単に情報を処理したり絵を描いたりするだけでなく、物理世界の法則を理解し、実際に触れることのできる「モノ」を創造する能力を持ち始めたことを示す、象徴的な出来事と言えるだろう。子どもの頃に夢見たレゴの世界が、AIとのコラボレーションによって、無限の可能性を秘めて広がっていく。今までとは全く異なるLegoの遊び方が始まるのかもしれない。
論文
参考文献
俺「ナイアルラトホテップのレゴを作って」
LegoGPT「くとぅるふ・ふたぐん にゃるらとてっぷ・つがー」
俺「にゃるらとてっぷ・つがー くとぅるふ・ふたぐん」
名状しがたきレゴが完成した。