MITのAIエージェント、ロボット訓練の仮想空間を自動生成

米MIT CSAILとトヨタ・リサーチ・インスティテュートの研究チームは、ロボット訓練用の仮想空間を自動生成するAIシステム「SceneSmith」を開発しました。三つのAIエージェントが連携し、レストランや寝室、ホテルといった3D空間を実物さながらに構築します。成果は先週開かれた機械学習の国際会議ICMLで発表されました。ロボット学習の最大の壁だったデータ不足を、シミュレーションで補う狙いです。

システムの核となるのは、役割の異なる三つのエージェントです。まず「デザイナー」が空間の要素を生成し、「クリティック」が現実的かどうかを助言、「オーケストレーター」が両者のやり取りを取り仕切って完成を判断します。各エージェントは最新の視覚言語モデル(VLM)GPT-5.2を呼び出し、空間の常識を踏まえて設計を進めます。

生成される空間は、従来手法より最大6倍の物体が置かれ、細部まで作り込まれます。研究チームは1,300を超えるシーンを作成し、事前の指示になかった創造的な配置も自動で生まれたといいます。開閉できるキャビネットなど、これまでの手法が苦手としていた可動物体も再現できる点が特徴です。

こうした豊富な仮想環境は、実機を動かす前にロボットの行動計画を検証する場になります。VLMエージェントが各試行を評価したところ、その判定は人間の評価と99%以上一致しました。200人を超えるユーザー調査でも、9割超が他手法より現実的だと答えています。

課題も残ります。各物体を丁寧に精査するため、一つの空間を作るのに数時間かかる点です。研究チームは計算資源を増やせば効率が大きく改善するとみており、スポンジのような変形する物体への対応も視野に入れています。