Как выбрать LLM: мы создали собственный бенчмарк из 20 моделей

Выбор крупной языковой модели (LLM) обычно начинается с просмотра публичных рейтингов. Однако такие списки часто игнорируют два ключевых параметра: насколько модель подходит под конкретные задачи и сколько её использование будет стоить в продакшене. Авторы статьи на Habr AI решили эту проблему, создав собственный бенчмарк, включающий двадцать популярных LLM, от открытых моделей до коммерческих сервисов.

Для измерений они построили электронную лабораторную базу – централизованную систему, куда автоматически записываются результаты всех экспериментов: точность на наборе тестовых запросов, время отклика, потребление токенов и финансовые затраты. На основе этих данных ИИ‑ассистент, интегрированный в систему, умеет отвечать на вопросы вроде «Какая модель лучше справится с генерацией кода на Python при бюджете 0,02 $ за 1 000 токенов?» или «Какая модель покажет наименьшую задержку при работе с длинными контекстами?».

Бенчмарк покрывает разнообразные сценарии: кодогенерацию, суммирование текстов, диалоговую поддержку и генерацию кода SQL. При этом каждый тест повторяется минимум три раза, чтобы обеспечить статистическую надёжность. Авторы делятся ссылкой на открытый репозиторий с данными и скриптами, позволяющими другим исследователям быстро собрать аналогичный набор измерений.

Статья подчёркивает, что такой подход позволяет не только подобрать оптимальную модель под конкретный проект, но и постоянно мониторить её эффективность в условиях меняющихся цен и обновлений моделей.