OenoBench: винный бенчмарк из 3 266 вопросов, построенный LLM‑агентами
Автор создал OenoBench — набор из 38 104 фактов и 3 266 вопросов о вине, проверив 16 моделей через сеть LLM‑агентов, потратив около $800 на API.
Полгода назад разработчик решил проверить, насколько современные языковые модели разбираются в вине. В результате появился OenoBench – первый в мире специализированный бенчмарк, охватывающий 38 104 факта из открытых источников и 3 266 вопросов с вариантами ответов. Для его создания использовалась целая экосистема LLM‑агентов: код писала Claude Code, пять разных моделей генерировали вопросы, а десять независимых агентов‑аудиторов проверяли их корректность. Автор оставался единственным человеком в цепочке – он отвечал за предметную экспертизу, то есть за всё, что связано с вином.
Бенчмарк был прогнан через шестнадцать популярных моделей, включая GPT‑4, Claude 2, Gemini 1.5 и другие. При этом стоимость запросов к API составила около $800, что позволяет оценить реальную финансовую нагрузку при масштабных оценках. Интересный инсайт – 17 из 35 скраперов, задействованных в сборе данных, оказались «гарантированным fallback», то есть их ответы часто брались из кэша модели, а не из живого веб‑поиска.
Результаты показали, что даже самые продвинутые модели иногда путаются в деталях региональных сортов, методов выдержки и исторических фактов. Открытый репозиторий проекта доступен на GitHub, а полные результаты – в статье на Habr ML (https://habr.com/ru/articles/1088780/).
OenoBench демонстрирует, как можно построить масштабный предметный бенчмарк, используя лишь LLM‑агенты и небольшие бюджеты. Для разработчиков это шанс быстро оценить свои модели в узкоспециализированных доменах, но стоит помнить о потенциальных «fallback»‑ответах и необходимости независимой валидации данных.
