TAPe+ML v3 превзошёл SOTA в классификации, детекции и сегментации при <100 к параметров
Новая компактная модель TAPe+ML v3 (менее 100 тыс. параметров) достигла 88,1 % Top‑1 на ImageNet‑1k, 65,3 % mAP50‑95 в детекции COCO и 58,4 % Mask mAP в сегментации, опередив современные SOTA‑подходы.
Команда исследователей представила на arXiv статью TAPe+ML: A Compact Structured Representation for Multi-Task Computer Vision. В ней описана третья версия модели TAPe+ML, ориентированная на мультизадачное зрение и рассчитанная на менее чем 100 тыс. параметров – порядок меньше, чем у большинства современных сетей.
Ключевые результаты
- Классификация: 88,1 % Top‑1 точности на ImageNet‑1k, что превышает показатели большинства лёгких архитектур (например, MobileNetV3).
- Object detection (COCO): 65,3 % mAP при диапазоне IoU 0.5‑0.95, сопоставимо с тяжёлыми моделями, но при в 10‑30 раз меньшем размере.
- Instance segmentation (COCO): 58,4 % Mask mAP50‑95, демонстрируя высокую способность к точному выделению объектов.
- Видео‑индексация и поиск сцен: модель успешно применялась в промышленном OOD‑пилоте, где требуется быстрое сравнение видеокадров без потери качества.
Технические детали
TAPe+ML использует структурированное представление (structured representation) – компактный токен‑образный код, который одновременно хранит информацию о классах, локализации и масках. Архитектура построена на модульных блоках, позволяющих легко адаптировать модель под новые задачи без полного переобучения.
Публикация
Статья доступна по ссылке: https://arxiv.org/abs/2309.1086426. Авторы предоставили открытый репозиторий с кодом и предобученными весами, что упрощает воспроизведение экспериментов.
Что дальше?
Команда планирует расширить набор задач (например, 3D‑детекция) и улучшить эффективность на edge‑устройствах. Возможность обучать одну модель под несколько целей открывает новые горизонты для мобильных и встраиваемых систем.
Для разработчиков, работающих с ограниченными ресурсами, TAPe+ML v3 — настоящий прорыв: одна компактная модель покрывает классификацию, детекцию и сегментацию с уровнем SOTA. Это упрощает пайплайны, снижает затраты на хранение и ускоряет вывод на edge‑устройствах, но требует внимания к правильной калибровке токен‑представлений.
