TutorMoments: новый фреймворк оценки поведения AI‑репетиторов
Hugging Face и Allen Institute представили TutorMoments — набор метрик, позволяющих измерять, когда AI‑учитель должен вмешаться, а когда дать ученику подумать самостоятельно.
В блоге Hugging Face анонсирован проект TutorMoments, разработанный совместно с Allen Institute for AI. Это первый в своём роде набор метрик и датасетов, предназначенных для оценки «социального интеллекта» AI‑репетиторов – способности определять, когда стоит предложить подсказку, а когда позволить ученику решить задачу самостоятельно.
Команда собрала более 10 000 диалогов между студентами и различными LLM‑моделями, пометив каждый момент как «intervention», «hold‑back» или «neutral». На основе этих аннотаций построены три ключевых измерения: timeliness (правильность момента вмешательства), helpfulness (полезность подсказки) и autonomy (сохранение самостоятельности ученика).
Для проверки фреймворка использованы модели GPT‑4o, Claude‑3.5, Gemini‑1.5 и открытая Mistral‑7B‑Instruct. Результаты показали, что даже самые продвинутые коммерческие модели часто «переполняют» ученика подсказками, снижая показатель autonomy на 15‑20 %. Открытая модель Mistral‑7B‑Instruct продемонстрировала более сбалансированный подход, но уступала в helpfulness.
Помимо датасета, команда выпустила open‑source библиотеку tutormoments-eval, интегрируемую в популярные фреймворки вроде LangChain и Hugging Face 🤗 Transformers. Библиотека позволяет автоматически рассчитывать метрики на этапе fine‑tuning и в продакшене, а также визуализировать «heat‑map» вмешательств в реальном времени.
Проект открыто лицензирован под Apache 2.0, приглашая исследователей и разработчиков расширять набор сценариев и добавлять новые языки. Планируется создание Leaderboard на Hugging Face Hub, где будут сравниваться модели по показателям TutorMoments.
Ссылка на оригинальный пост: https://huggingface.co/blog/allenai/tutormoments
Для разработчиков AI‑репетиторов TutorMoments открывает возможность измерять и улучшать «чувствительность» модели к ученику, а не только её академическую точность. Это важный шаг к более естественному и этичному обучению, но требует дополнительного fine‑tuning и мониторинга, что может увеличить затраты на разработку.
