LLM‑судья заменил косинусную схожесть: точность подбора ИТ‑кандидатов выросла до 66 %
Внутренняя платформа рекрутинга заменила векторный поиск на LLM‑оценку резюме, увеличив точность от 44 % до 66 % и сократив количество неверных наймов.
В статье на Habr ML описывается эксперимент с внутренней платформой подбора ИТ‑специалистов, где традиционный векторный поиск по эмбеддингам заменили на «LLM‑судью». Изначально система использовала косинусную близость между вектором вакансии и резюме, что позволяло находить тексты, схожие по формулировкам, но не всегда релевантные с точки зрения реальной роли. Так, сильный программист‑разработчик часто попадал в результаты поиска для вакансии архитектора, хотя его навыки не соответствовали требуемой позиции.
Для решения проблемы команда внедрила LLM‑модель, которая в качестве «судьи» оценивает степень соответствия резюме конкретным требованиям вакансии, учитывая контекст, уровень ответственности и отраслевые нюансы. Вместо простого сравнения векторов модель генерирует оценку релевантности, после чего система ранжирует кандидатов.
Результаты эксперимента впечатляющие: точность подбора (доля действительно подходящих кандидатов среди топ‑10) выросла с 44 % до 66 %. Кроме того, количество «провалившихся» приёмов сократилось на четыре случая, что экономит время рекрутеров и снижает риск неверных решений. Авторы подчёркивают, что LLM‑судья особенно полезен в случаях, когда вакансия формулируется нетипично или требует оценки «мягких» навыков.
Статья доступна по ссылке: https://habr.com/ru/articles/1074382/.
Для разработчиков рекрутинговых сервисов это подтверждает, что LLM‑оценка может стать более надёжной альтернативой чисто векторному поиску. Интеграция такой модели повышает качество рекомендаций и снижает количество неверных наймов, но требует дополнительных вычислительных ресурсов и тщательной настройки промптов.
