Один промпт‑тригер поднял Recall@5 на 16 % после месяца безрезультатных тюнингов
После месяца оптимизации поиска по памяти, изменение одной строки в промпте дало прирост Recall@5 на 16 % — доказательство силы простого prompt‑инжиниринга.
Что произошло
Исследователь провёл месяц интенсивных экспериментов по тюнингу модели для поиска по памяти. С помощью перебора гиперпараметров и настройки BM25 удалось увеличить Recall@5 на 17 %, но статистический тест Макнемара показал, что улучшение незначимо (p = 0.79) – фактически шум.
Ключевой прорыв
Вечером, просмотрев промпт, автор изменил одну формулировку: вместо «найди ответ в памяти» было использовано более конкретное «выбери наиболее релевантный документ из списка». Этот простой сдвиг привёл к росту Recall@5 на 16 % за несколько часов.
Почему модель отказывалась отвечать
Оказалось, что при прямом расположении правильного ответа перед запросом LLM иногда «замерзала», считая задачу уже решённой. Это подчёркивает важность разнообразия контекста при оценке.
Что внутри
- Как собрать собственный набор проверочных вопросов и избежать «переобучения» на тесте.
- Почему классические параметры BM25 из публикаций проигрывают кастомному перебору.
- Шесть популярных приёмов (перепараметризация токен‑весов, кросс‑энкодинг, RAG‑тюнинг и др.) не принесли ожидаемого эффекта.
Ссылка: Habr ML – Месяц тюнил поиск по памяти, а починила всё одна строка в промпте
Для разработчиков LLM‑систем это напоминание, что иногда более глубокие изменения в коде дают лишь мнимый эффект. Простой пересмотр промпта может принести ощутимый прирост, но без надёжной статистической проверки такие улучшения могут оказаться иллюзией. Важно инвестировать время в построение репрезентативных наборов вопросов и проводить A/B‑тесты с достаточной мощностью.
