Локальный API классификации на телефоне: ответы за десятки мс без облака
Новый быстрый аналог Jev API работает полностью на мобильном устройстве, выдавая классификацию за десятки миллисекунд без подписки и облачных сервисов.
В статье на Habr AI представлена локальная альтернатива Jev API – небольшая модель классификации, которую можно запустить прямо на смартфоне. Автор демонстрирует, как за пять минут развернуть сервер, используя готовый Docker‑образ и минимальный набор зависимостей. Модель помещается в ≈150 МБ и работает на процессорах ARM без необходимости GPU.
Ключевые особенности
- Задержка: ответы приходят за 10‑30 мс от момента получения запроса, что в десятки раз быстрее облачных аналогов.
- Отсутствие подписки: полностью бесплатный, без ограничений на количество запросов.
- Без облака: все вычисления происходят на устройстве, что повышает конфиденциальность данных.
Как запустить
- Скачайте Docker‑образ
mobile‑decision‑api:latest. - Выполните
docker run -p 8000:8000 mobile‑decision‑api– сервер стартует за ~30 сек. - Тестовый запрос через
curl:curl -X POST http://localhost:8000/predict -d '{"text":"пример запроса"}' - Интеграция в Python занимает не более 10 строк кода, используя
requests.
Применение
Автор показывает примеры: подключение к чат‑боту в Telegram, автоматизация ответов в домашней системе умного дома и быстрый фильтр спама в мобильных приложениях.
Полный текст статьи и ссылки на репозиторий доступны по адресу: https://habr.com/ru/articles/1089714/ .
Для разработчиков и студентов это открывает возможность создавать полностью автономные AI‑сервисы без зависимости от облака и затрат на подписку. Быстрая локальная инференция идеальна для задач реального времени, однако ограниченный размер модели требует тщательного подбора задач и оптимизации ресурсов устройства.
