M0+ достиг 60 % точности на CIFAR‑10: четыре ошибки и один «вихрь» в процессе
В новой статье серии авторы делятся, какие «грабли» они наступили при обучении модели M0+, как их исправляли и почему итоговый результат — 60 % точности — стал прорывом.
В продолжении серии статей о новых архитектурах для компьютерного зрения, команда исследователей представила модель M0+, которая за короткое время смогла достичь 60 % точности на классическом наборе CIFAR‑10. Это значительный скачок по сравнению с предыдущей базовой моделью M0 (≈45 %).
Автор подробно описывает четыре главные «грабли», в которые они попали:
- Неправильная нормализация входных изображений – привело к смещению распределения данных;
- Переобучение на небольшом подмножестве из‑за ошибочного разделения датасета;
- Недостаточная регуляризация слоёв‑attention, что вызвало шум в градиентах;
- Неправильный план обучения – слишком быстрый рост learning‑rate в начале.
После обнаружения каждой проблемы команда внедрила решения: корректную Z‑score нормализацию, строгий stratified split, добавление Dropout‑attention и «cyclical learning rate». Кроме того, они упомянули «вихрь» – неожиданный скачок в точности, возникший после применения mixup‑augmentation в сочетании с CutMix.
Ключевые цифры:
- Обучение на 4 GPU (NVIDIA A100) – 12 ч.
- Параметров модели – 12 M.
- Потребление VRAM – 8 GB.
- Точность на валидации – 60 % (Top‑1).
Полный разбор доступен в статье на Habr AI: https://habr.com/ru/articles/1050030/. Ссылка содержит код, конфигурацию и полные логи экспериментов.
Что дальше? Авторы планируют масштабировать M0+ до ImageNet и исследовать перенос обучения на задачи детекции.
Для разработчиков это хороший пример того, как мелкие детали в пайплайне могут стоить десятков процентов точности. Применяя проверенные техники нормализации и продуманные стратегии LR, можно избежать большинства «граблей». Кроме того, миксап‑техники, такие как CutMix, могут дать неожиданные «вихри» улучшения, но требуют тщательной валидации.
