OpenAI объявила «Эру AGI»: что скрывается за маркетинговым заявлением
Пресс‑брифинг OpenAI привёл к ложному заявлению о наступлении эры AGI. Мы проверили цифры, бенчмарки и семь критериев оценки модели Astra.
Что произошло
В закрытом брифинге OpenAI один из топ‑менеджеров произнёс фразу «Welcome to the AGI era». Сразу после мероприятия в соцсетях появился твит, приписывающий эту реплику Сэму Альтману. Пресс‑служба компании не опубликовала официального заявления, однако медиа‑агентства склеили два разных высказывания в единый «корпоративный анонс», который, по сути, не существовал.
Проверка цифр и бенчмарков
Автор статьи на Habr AI провёл независимую сверку заявленных цифр с данными публичных администраторов бенчмарков (OpenAI Eval, MLCommons). Оказалось, что заявленные улучшения модели Astra (на 23 % лучше по MMLU) не подтверждаются в открытых репозиториях – реальный прирост составляет 7 %.
Семь критериев оценки
Для более объективного анализа была использована методика из «Seven Checks for AGI Claims», включающая:
- Критика – независимая оценка экспертов;
- Авторство – проверка, действительно ли заявитель делал заявление;
- Повторяемость – возможность воспроизвести результаты;
- Контекст – сравнение с предыдущими моделями;
- Этические риски;
- Тесты на обобщение;
- Прозрачность. Модель Astra прошла только первый пункт (критика) и провалила второй – автором заявления не был Сэм Альтман. Остальные критерии также не были удовлетворены.
Итоги
Таким образом, текущий «анонс» – скорее маркетинговый трюк, чем реальное достижение AGI. Ожидания индустрии, подпитанные подобными заявлениями, требуют более строгой верификации.
Для разработчиков и студентов это предупреждение: не принимайте маркетинговые заявления за чистую монету. При работе с новыми моделями проверяйте независимые бенчмарки и используйте проверенные критерии оценки, иначе рискуете строить проекты на недостоверных предположениях.
