Jev: новый классификатор‑фильтр AI – итоги 16 000 запросов
Исследование сравнивает Jev с gpt‑5.4‑mini и gpt‑5.6‑luna на открытых датасетах и в реальных бизнес‑процессах, раскрывая сильные и слабые стороны модели.
В недавней статье на Habr AI представлена детальная проверка нового языкового инструмента Jev. Модель позиционирует себя как бинарный классификатор – она отвечает только «да/нет» или выбирает один из предложенных вариантов. Для оценки её эффективности авторы провели 16 000 вызовов.
Оценка на открытых датасетах
Первый этап эксперимента включал сравнение Jev с двумя версиями GPT‑5: gpt‑5.4‑mini и gpt‑5.6‑luna. Тесты проводились на четырёх публичных наборах данных, охватывающих задачи классификации текста, фильтрации спама, определения тональности и распознавания фактов. По результатам:
- На задачах с чёткой бинарной логикой Jev превзошёл gpt‑5.4‑mini на 7 % и догнал gpt‑5.6‑luna.
- При более сложных мультиклассовых задачах модель отставала от обеих версий GPT‑5, показывая 3‑5 % более высокий уровень ошибок.
Тесты в реальных рабочих процессах
Вторая часть исследования — несколько тысяч реальных запросов из бизнес‑процессов компаний‑партнёров. Здесь Jev использовался как фильтр входящих заявок, быстрый чек‑лист для согласования документов и автоматический модератор комментариев. Выявлено:
- Ускорение обработки запросов в среднем на 23 % по сравнению с ручным контролем.
- Ошибки «ложноположительные» в 2,1 % случаев, что ниже у gpt‑5.4‑mini (3,4 %) и сопоставимо с gpt‑5.6‑luna (2,0 %).
- При работе с неоднозначными формулировками модель иногда выбирала неверный вариант, требуя последующей валидации человеком.
Практические рекомендации
Авторы предлагают использовать Jev в сценариях, где требуются быстрые бинарные решения с высокой точностью, но сохранять человеческий контроль при работе с контекстно‑зависимыми запросами.
Ссылка на оригинал: https://habr.com/ru/articles/1084770/
Для разработчиков AI Jev представляет интерес как лёгкий бинарный классификатор, способный снизить нагрузку на людей в рутинных задачах. Однако его ограниченная способность к многоклассовой классификации требует гибкой интеграции с более мощными моделями типа GPT‑5 для сложных сценариев. В учебных проектах Jev может стать хорошей площадкой для экспериментов с фильтрами и быстрыми решениями.
