詳細を読む
NVIDIAは2026年7月27日、手術ロボット向けのリアルタイム生成シミュレーター「Cosmos-H-Dreams」を公開しました。これは大規模な世界基盤モデルを少数ステップで動く生徒モデルへ蒸留し、単一のGPU上で初期画像とロボットの動作情報から次の映像を逐次生成する仕組みです。物理ロボットは運用コストが高く実験の再現も難しいため、安全かつ高速に方策を訓練・評価できる環境の提供を狙います。
基盤となるのは、映像とロボットの動きを対応付けて視覚的な変化を学習した世界基盤モデルです。従来の「Cosmos-H-Surgical-Simulator」は初期シーンと動作の系列から将来の手術映像を生成し、実機を動かさずに方策評価や合成データ生成を可能にしていました。今回はこれをダビンチ研究用キット（dVRK）の卓上縫合に特化させ、逐次的に映像を生む因果的な生徒モデルへ蒸留しています。
最大の課題は、手術特有の動きを保ちながら生成コストを下げることです。開発チームは教師モデルの計算過程を事前に記録して生徒モデルに模倣させ、さらに自らの出力を条件に学習を進める自己強制蒸留で誤差の蓄積を抑えました。その結果、1フレームあたり2ステップという少ない拡散処理で映像を生成できるようになっています。
高速化を担うのが、自己回帰型モデル向けの推論ライブラリ「FlashDreams」です。ストリーミング用のキャッシュやCUDAグラフなどの最適化により、従来の毎秒約10フレームから毎秒約160フレームへ処理速度を引き上げ、単一のRTX PRO 6000上で対話的な操作を実現しました。ブラウザやMeta Questからの操作にも対応し、人や学習済みの方策が閉ループで環境を制御できます。
想定される用途は、方策の閉ループ評価や強化学習・模倣学習の訓練環境、そして針落としなど稀な失敗を意図的に再現する検証などです。将来的には遅延を考慮した遠隔手術や、手技のリハーサル、術中の意思決定支援への応用も見込まれます。ただしNVIDIAは、本モデルが研究開発用の基盤であり、診断や実機制御を目的としたものではないと明確に位置づけています。