詳細を読む
Googleは2026年10月1日、対応するAndroid端末のGemini Liveで、カメラ映像をAIが解釈し、音声でリアルタイムに説明する「Guided Vision」を公開しました。視覚障害者や弱視者を主対象に、周囲の説明、細かな文字の読み上げ、物の探索、追加質問への回答を一つの対話で支援し、カメラの向きがずれた場合は構図を直す音声案内も出します。
利用者がGemini Liveでカメラを共有すると、対象が近すぎたり画面から外れたりした場合に、右へ動かす、下へ傾ける、後ろへ下がるといった案内を音声で受け取れます。見つけた商品の消費期限を続けて尋ねるなど、映像について追加質問もできます。
日常用途には、食品表示や家電の目盛り、暗い店内のメニューを読むことや、落としたイヤホン、棚の中の香辛料を探すことがあります。服の色や柄の確認、部屋の配置説明にも使え、複数言語での会話に対応します。
ただし生成AIを使う補助機能のため、回答を誤る場合があります。Googleは、医療機器や移動補助具、白杖の代わりにはならず、ナビゲーション、安全な移動案内、障害物検知には使わないよう注意しています。
開発では視覚支援サービスのAiraと連携し、数万時間に及ぶ実世界の視覚データの解釈を通じてGemini Liveを訓練しました。Airaの信頼済みテスター網から1,000人超が日常場面で検証し、専門家が安全策の設定と評価に参加しています。
Guided Visionは、Gemini Liveが利用できる地域と言語のAndroid 9以降で提供されます。Geminiアプリの設定に加え、画面上のボタン、2本指のスワイプ、音量ボタンを使うアクセシビリティ機能や、TalkBackのメニューから起動できます。