Воспроизведение эффекта grokking и проверка сохранённых моделей
Исследователи повторили эффект grokking на трёх случайных инициализациях: сеть быстро запоминает обучающие примеры, но начинает обобщать лишь после длительного обучения. Открыты артефакты эксперимента и методика проверки.
Что произошло
В статье на Habr AI (2026‑10‑04) авторы воспроизвели известный феномен grokking — резкое улучшение обобщающей способности модели после длительного периода переобучения. Эксперимент проводился на трёх разных seed‑значениях, что позволило оценить стабильность эффекта.
Ключевые факты
- На всех seed‑значениях сеть достигала почти 100 % точности на тренировочном наборе уже после 10‑20 эпох, но точность на тесте оставалась около 30 %.
- После ~1500‑2000 эпох наблюдался «скачок» до 95 %+ на тесте – характерный признак grokking.
- Авторы зафиксировали, что момент скачка сильно варьируется: от 1300 до 2500 эпох в зависимости от seed.
- Для проверки сохранённых моделей был разработан набор метрик, включающий контрольные наборы, границы переобучения и оценку шумовых паттернов.
Открытые артефакты
Все логи, чекпоинты и скрипты опубликованы в открытом репозитории GitHub (см. ссылку в статье). Это позволяет другим исследователям воспроизводить результаты и тестировать новые гипотезы о механизмах grokking.
Ссылка: Habr AI – Воспроизведение grokking и проверка сохранённых моделей
Для практикующих AI‑разработчиков это напоминание, что высокая точность на тренировочных данных не гарантирует быстрой обобщаемости. Нужно планировать длительные эксперименты и использовать проверку сохранённых чекпоинтов, иначе можно упустить критический момент улучшения модели.