DeepMind、手話を文字に変換するAIをPixelに初搭載

Google DeepMindは8月12日、50以上の手話を学習した翻訳モデル「SL2T」を発表し、Pixel 11のGboardとLive Transcribeに搭載しました。米国手話（ASL）から英語への変換に対応し、ろう者や難聴者は文字入力の代わりに端末へ手話で入力できます。手話AIが研究段階を越えて一般消費者向け製品に載るのは初めてで、追加料金はかかりません。

SL2Tは50を超える手話、延べ10万時間超のデータで学習しており、うち約4分の1がASLです。多様な言語や方言、習熟度を混ぜて同時に学習させることで共通する構造を獲得し、単一言語のモデルを上回る精度が出たといいます。ASLから英語への翻訳品質を測るFLEURS-ASLではゼロショットで70 BLEURTを記録し、過去の報告値を大きく上回りました。

プライバシー面では、端末側のMediaPipe Holisticが身体の関節点を追跡し、座標データだけをサーバーへ送る設計です。カメラ映像そのものは即座に破棄されます。さらに従来研究で使われてきた「グロス」と呼ぶ中間表記を挟まず、座標列から直接テキストへ翻訳することで語彙の上限をなくし、データ量に応じて精度が伸びる構造にしました。

手話は音声の書き起こしとは異なり、独自の文法と語彙を持つ独立した言語です。手や腕、胴体、頭、表情の同時進行の動きを高いフレームレートで捉える必要があり、映像認識と機械翻訳を同時に解く難題でした。開発チームは学術指標だけでなく、逐次出力の遅延短縮、手話をしていない映像での誤生成の抑制、左利きの署名者への公平性、スマートフォンを片手で持ったままの片手手話への対応にも取り組んでいます。

開発はろう者コミュニティとの共同作業として進められました。構想はろう者のGoogle社員であるSam Sepah氏が担い、データ収集や評価、影響評価の各段階にもろう者の専門家が関わっています。責任ある展開を導くため、世界のろう者団体と専門家からなる諮問委員会AISLACを設置し、SL2T 1.0の公開に合わせて能力と限界を明記した共同影響レポートも公開しました。

対応端末は今後拡大し、言語も追加される予定です。チームは手話の生成やフロンティアAI機能への展開も視野に入れています。音声入力と同じ操作性が手話にも広がり始めた今、アクセシビリティ対応やUI設計を検討する経営層とエンジニアにとって、入力手段の前提を見直す節目になりそうです。