詳細を読む
NVIDIAは8月10日、多言語音声合成モデル「Magpie TTS Multilingual」の最新版を公開しました。3億6400万パラメータの小型モデルで、新たにアラビア語・韓国語・ブラジルポルトガル語を加えた12言語に対応し、重みはHugging Face上でオープンモデルライセンスの下に配布されています。狙いは、企業が自社の環境で低遅延の音声エージェントを組めるようにする点にあります。
音声対話で最も体感に響くのは、生成開始から最初の音声が届くまでの時間、TTFAです。NVIDIAの実測値はB200で32ミリ秒、H100で47ミリ秒、A100で79ミリ秒でした。64並列の負荷下でもB200は239ミリ秒に収まり、再生速度の約320倍にあたるスループットを出しています。
この速さを支えるのは2つの設計変更です。デコーダが1回のステップで2フレームを同時に予測するフレームスタッキングが反復回数を半減させ、同時に生成されるトークン間の依存関係をlocal transformerが補正して音質の落ち込みを防ぎます。手法はICASSP 2026の論文として公開されています。
品質も前版から前進しました。フランス語の文字誤り率は2.70%から1.54%へ、スペイン語は1.14%から0.60%へ下がり、話者類似度もあわせて向上しています。新規3言語の文字誤り率は1.62〜2.91%で、今後の改善を測る基準値になります。
企業にとっての要点は、速さそのものよりも自分で制御できることではないでしょうか。重みが手元にあれば、閉域環境での運用やデータ所在地の要件に合わせた配置ができ、NeMoで自社の固有名詞や話者を追加学習させることもできます。Magpieは音声認識のNemotron Speechなどと組み合わせる参照実装「Nemotron Voice Agent」にも組み込まれ、1秒未満の応答を狙う構成例が示されています。