Gemini 3.5 Flash: рекордные бенчмарки, но диалог оставляет желать лучшего

Google заявила о превосходстве Gemini 3.5 Flash в тестах Terminal Bench 2.1 и MCP Atlas, однако в реальном чате модель звучит сухо и безжизненно, отставая даже от Gemini 3.0 Flash.

Что выпустила Google

В начале недели компания Google анонсировала Gemini 3.5 Flash – лёгкую версию своей серии моделей. По заявлению маркетологов, новая модель обходит Gemini 3.1 Pro в двух популярных бенчмарках: Terminal Bench 2.1 (показатели ускорения +28 % и снижения потребления энергии –22 %) и MCP Atlas (балл качества +12 %).

Реальный опыт общения

Но первые пользователи, открывшие чат с Gemini 3.5 Flash, отметили резкое падение качества диалога. Модель отвечает сухим, бюрократическим текстом, почти без эмоционального окраса. По сравнению с Gemini 3.0 Flash, которая уже показывала умеренную «человечность», 3.5 Flash выглядит ещё более «механической». Пользователи жалуются на отсутствие креативных метафор, ограниченный словарный запас и частые повторения.

Почему так происходит?

Авторы статьи на Habr ML связывают проблему с RL‑HF‑лоботомией – чрезмерным усилением штрафов за «нежелательное» поведение в процессе дообучения. При оптимизации под агентные задачи (например, автокодинг, планирование) модель теряет «энтропию» генерации, что приводит к более предсказуемому, но скучному языку.

Что изменилось в бенчмарках?

Текущие метрики (Terminal Bench, MCP Atlas) в основном измеряют скорость, эффективность и точность в узконаправленных задачах, игнорируя качественные аспекты общения. Это делает их «главным» критерием оценки, вытесняя более сложные показатели, такие как креативность и эмпатия.