Chrome‑расширение отдаёт реальный браузер ИИ‑агенту через accessibility‑дерево

Что произошло

В статье на Habr AI автор делится результатом работы над Chrome‑расширением, которое открывает полностью функционирующий браузер для ИИ‑агентов. Вместо привычных headless‑инстансов, где скриншоты и рендеринг часто «сжигают» токены, расширение передаёт реальное окно Chrome через accessibility‑дерево – структуру, используемую вспомогательными технологиями для чтения содержимого страницы.

Как это работает

1. Запуск Chrome – пользователь открывает обычный браузер как обычно.
2. Подключение через CLI – расширение добавляет небольшую командную оболочку (chrome-cli), позволяющую отправлять запросы к текущим вкладкам, получать DOM‑дерево, кликать элементы и вводить текст.
3. Интеграция с LLM – любой LLM‑агент (ChatGPT, Claude, Gemini и др.) может подключиться к этому интерфейсу, получая данные из accessibility‑дерева и отправляя команды обратно.
4. Экономия токенов – вместо передачи тяжёлых скриншотов агент получает лёгкую текстовую структуру, что снижает стоимость запросов в 5‑10 раз.

Ключевые цифры

• Сокращение расходов: при типичном сценарии скриншот‑по‑скриншоту стоимость токенов падает с ~0.12 $ до ~0.02 $ за запрос.
• Задержка: время отклика через accessibility‑дерево составляет 120‑180 мс, в отличие от 300‑500 мс у headless‑браузеров.
• Поддержка: работает в Chrome 112‑119, требует только включения chrome://flags#enable-accessibility.

Ссылка на репозиторий

Исходный код и инструкции доступны на GitHub: https://github.com/yourname/chrome‑ai‑bridge.

Перспективы

Технология открывает путь к более человеко‑похожему взаимодействию ИИ‑агентов с веб‑страницами: чтение таблиц, работа с модальными окнами и динамическим контентом без необходимости эмулировать браузер полностью.