Google Gemini Live запустил Guided Vision: аудио‑описания в реальном времени
Функция Guided Vision в Gemini Live теперь доступна на совместимых Android‑устройствах и с помощью ИИ озвучивает всё, что видит камера: мелкий текст, предметы, окружение.
Google представил Guided Vision — новую возможность в сервисе Gemini Live, которая позволяет получать аудио‑описания в реальном времени от того, что камера вашего Android‑устройства видит в данный момент. Функция стартовала 1 октября 2026 г. и уже доступна на совместимых смартфонах с Android 13 и выше.
Как это работает? Пользователь открывает Gemini Live, включает режим Guided Vision и направляет камеру на любой объект. Модель Gemini, обученная на огромных датасетах визуального контента, генерирует короткое аудио‑сообщение, описывающее то, что находится в кадре: от мелкого шрифта на этикетке до расположения мебели в комнате. Технология использует комбинированный подход «vision‑plus‑language», позволяя распознавать текст, объекты и сцены с задержкой менее 300 мс.
Ключевые возможности:
- Чтение мелкого текста: идеально для этикеток, инструкций, QR‑кодов.
- Идентификация объектов: помощь в поиске предметов в доме или на улице.
- Описания окружения: полезно для навигации в новых местах, особенно людям с ограниченным зрением.
Google обещает, что в дальнейшем Guided Vision будет поддерживать несколько языков и расширит набор сценариев, включая распознавание эмоций и действий людей. Подробнее о запуске можно прочитать в оригинальном материале The Verge: https://www.theverge.com/ai-artificial-intelligence/1003756/google-gemini-live-guided-vision.
Эта функция демонстрирует, как крупные модели ИИ могут стать «умными глазами» для мобильных устройств, открывая новые горизонты в области доступности и контекстного взаимодействия.
Guided Vision превращает смартфон в портативного помощника по зрению, что особенно ценно для людей с ограниченным зрением и для задач, где требуется мгновенный доступ к информации. Для разработчиков это шанс интегрировать подобные возможности в свои приложения через Gemini API, но стоит помнить о конфиденциальности данных с камеры в реальном времени.
