TernML: тернарный ИИ за 50 ¢ без FPU
Новая версия тернарной нейросети TernML работает без плавающей точки, стоит около 50 центов и сохраняет точность уровня GraphKAN.
В статье на Habr AI представлен TernML – обновлённый проект тернарных нейросетей, который пришёл на смену первой версии GraphKAN. Как и её предшественница, TernML использует тернарные веса {-1, 0, +1}, но теперь полностью избавлен от необходимости в FPU (Floating‑Point Unit). Это позволяет запускать модель даже на микроконтроллерах без аппаратной поддержки плавающей точки.
Главное нововведение – оптимизированный набор инструкций и специальный компилятор, которые переводят операции в чисто целочисленные вычисления. В результате стоимость инференса упала до ≈ 50 ¢ (≈ 36 ₽) за миллион предсказаний на типичном Edge‑устройстве, что в несколько раз дешевле аналогов с FP32.
По сравнению с GraphKAN, который достиг 96.15 % точности на MNIST при размере модели 15 KB, TernML сохраняет сопоставимую точность (96 %‑96.5 % в тестах на MNIST и CIFAR‑10) при меньшем размере файла – 12 KB и в 1.8× ускорении инференса. Кроме того, теперь модель поддерживает прямую интеграцию с платформами Arduino и ESP‑32, что упрощает её внедрение в IoT‑проекты.
Для обучения используется открытый набор скриптов, совместимых с PyTorch и TensorFlow, а готовые веса доступны в репозитории GitHub проекта. Авторы отмечают, что дальнейшее развитие планирует добавить поддержку квантования до 2‑бит и мульти‑задачность.
Подробности и ссылки на код – в оригинальном материале: https://habr.com/ru/articles/1049940/
TernML открывает путь к действительно дешёвому ИИ на микроконтроллерах: разработчики могут внедрять нейросетевые функции в датчики, wearables и небольшие роботы без дорогостоящего процессора. Однако тернарные веса ограничивают точность, поэтому модель подходит в первую очередь для задач классификации и простых регрессий.
