音声認識トップモデル、ベンチマーク丸暗記が発覚

Hugging Faceの研究チームは8月21日、音声認識ベンチマークにおいて複数のAIモデルが実際の音声よりも参照文字起こしを暗記して回答している実態を明らかにしました。VoxPopuliとLibriSpeechの2大データセットで11種のモデルを検証した結果、音声と矛盾しても参照文字起こしをそのまま再現するモデルが複数見つかったといいます。

具体的には、VoxPopuliの音声に含まれる「Thank you, Mr. President」という発言について、参照文字起こしでは「Thank you」が欠落していました。検証対象の11モデルのうち6モデルが、音声に存在する言葉を無視し、誤った参照文字起こしと同じ答えを出力したことが確認されています。また、新たに収録した音声に差し替えると、多くのモデルが正しく音声に忠実な文字起こしに戻ったといいます。

研究チームは音声中の数字を意図的に消去し、モデルがどう反応するかも調べました。本来は無音のため数字を出力できないはずですが、一部のモデルは参照文字起こしにある数字をそのまま復元し、中には消されていた「2011年」という年号まで正確に補完するケースがありました。LibriSpeechでは、上位モデルの一部が消された数字を3〜4割の頻度で復元したといいます。

さらに、「Mr.」と「Mister」のように発音が同じでも表記が異なる語について、モデルがどちらのデータセットの慣習に合わせて綴りを選ぶかを検証しました。その結果、一部のモデルはデータセットごとの表記慣習を識別し、最大で9割の精度で使い分けていたことが分かりました。これは、モデルが音声内容だけでなく、周囲の音響的な手がかりからテスト対象のベンチマークを推測している可能性を示しています。

研究チームは、こうしたベンチマーク最適化の傾向が単語誤り率の低い「高性能」モデルほど強く表れると指摘しています。今後は公開ベンチマークだけに頼らず、非公開の保留データセットを併用し、時間軸や話者単位でデータを分割する評価手法が必要だと提言しました。あわせて、モデルの訓練データや選定手順の透明性向上も求めています。