出典：Hugging Face
詳細を読む
NVIDIAの開発者は、ハロウィーンに訪れる子どもと会話する投影作品「MonsterHouse」を制作しました。ガレージの扉を海賊船由来の不機嫌な家に見立て、訪問者の声を認識して返答し、「please」や「thank you」に応じて態度を和らげます。音声認識から会話、音声合成、口のアニメーションまでを1台のワークステーションで動かします。
会話の基盤にはNVIDIA Nemotron Voice Agentを使い、Nemotron ASRが音声を文字に変換し、小型言語モデルBolt E4Bが返答を生成します。LoRAアダプターや会話フローを組み合わせ、頑固な海賊という性格と、訪問者が礼儀を示した後の状態を保つ設計です。
生成した返答はMagpie TTS Zeroshotでキャラクターの声にし、Audio2Face-3Dが音声に合わせて口を動かします。よく使う挨拶などは文章や音声をキャッシュし、Bolt E4Bと音声合成を使う場合の発話終了から音声までの中央値は1.70秒、キャッシュ応答では0.72秒でした。
カメラ映像から衣装を説明するNemotron 3 Nano Omniや、人物を数えるYOLOとByteTrackも組み込めます。ただし、衣装認識の例は仮想映像での試験で、実際の来訪者や夜間照明での検証はこれからです。作者はMonsterHouseのコードを公開しておらず、今後もアニメーションや実地性能の改善を予定しています。