Как собрать офлайн‑говорящего робота на Raspberry Pi 5: опыт и ошибки

Автор построил робота‑помощника для дочери на Raspberry Pi 5, который разговаривает без интернета, использует локальные модели, камеру‑бант и отслеживание взгляда.

В статье на Habr AI автор делится подробным опытом создания домашнего робота‑помощника для своей дочери. Основной задачей было обеспечить полностью офлайн‑взаимодействие: робот должен говорить, отвечать на вопросы и следить за человеком без подключения к облачным сервисам.

Для реализации проекта выбран Raspberry Pi 5 – компактный одноплатный компьютер с достаточной вычислительной мощностью для запуска небольших нейросетей. В процессе работы было протестировано почти двадцать локальных моделей LLM (GPT‑Neo, LLaMA‑2‑7B, Mistral‑7B и др.) из репозитория HuggingFace, чтобы найти оптимальный баланс между качеством ответов и потреблением ресурсов. В итоге автор остановился на модели Mistral‑7B‑Instruct, работающей в режиме 4‑битной квантизации, что позволило уложиться в 8 ГБ RAM Raspberry Pi 5.

Для голосового синтеза использована открытая система Coqui TTS с кастомным русскоязычным голосом, обученным на наборе данных «RUS‑Voice». Система полностью работает без интернета, генерируя речь в реальном времени. Звук выводится через небольшую колонку, встроенную в корпус робота.

Визуальная часть реализована камерой Raspberry Pi HQ, установленной в «бант» на голове робота. С помощью модели MediaPipe Face Mesh реализовано отслеживание взгляда и поворотов головы, позволяя роботу «смотреть» на собеседника. Управление моториками (поворот головы, наклоны) выполнено через сервоприводы, контролируемые библиотекой pigpio.

Автор подробно описывает, какие проблемы возникли: нестабильные ответы модели при низком объёме памяти, задержки в TTS при высокой нагрузке, а также необходимость калибровки камеры для надёжного отслеживания. Все решения и ссылки на репозитории размещены в статье.

Ссылка на оригинал: https://habr.com/ru/articles/1090078/