Phonon、小型端末で高品質な音声合成

Hugging Faceは小型音声合成モデル「Phonon」の詳細を公開しました。モデルは端末内で動作し、入力文を外部サーバーへ送らずに音声化できます。開発元は公開から約2週間の反響を受け、性能や設計を説明しています。

モデルは約65MBと75MBの2種類で、英語、仏語、独語、西語、葡語に対応します。100種類超の標準音声に加え、音声複製や文章による声の設計もできます。

小型化と音質の両立には、Pocket TTS系譜のフローマッチング方式を採用しました。開発では学習の数値的不安定性に対処し、5言語で品質を整えたと説明しています。

31m版はApache 2.0で、商用利用も可能です。40m版は非商用ライセンスで提供され、スマートフォンやPC、ブラウザーなどで利用できます。