Сравнительный тест GPT Astra и Qwen 3.8: результаты эксперимента «Последний пеликан»
Автор сравнил GPT Astra, Qwen 3.8 и несколько популярных моделей, проверяя их качество генерации на повседневных задачах.
В статье «Последний пеликан», опубликованной на Habr AI, автор заметил рост упоминаний пеликанов на велосипедах в своей ленте Twitter и решил проверить, насколько современные языковые модели способны генерировать подобный контент. Был проведён собственный эксперимент, в котором участвовали GPT Astra (модель от OpenAI, условно обозначенная как GPT‑5‑подобная), Qwen 3.8 от Alibaba и ещё несколько широко доступных моделей – Llama 3‑8B, Mistral‑7B и Claude‑3.5 Sonnet.
Методика была простой: каждому ИИ задавали одинаковый набор из 15 запросов, охватывающих разные стили (новостные заголовки, креативные рассказы, технические объяснения, диалоги). Оценка качества проводилась двумя способами – автоматическим метриками (BLEU, ROUGE‑L) и ручным рейтингом пяти экспертов, которые оценивали связность, оригинальность и соответствие запросу.
Результаты показали, что Qwen 3.8 лидирует по автоматическим метрикам, набирая в среднем 0.68 BLEU и 0.74 ROUGE‑L, однако в ручной оценке GPT Astra получила более высокий средний балл – 4.3 из 5, благодаря лучшей стилистической гибкости и меньшему количеству «галлюцинаций». Другие модели разместились между ними: Claude‑3.5 показал стабильность в технических задачах, а Mistral‑7B продемонстрировал хорошую креативность, но иногда отклонялся от темы.
Автор делает вывод, что выбор модели всё ещё зависит от конкретной задачи: для чисто фактического контента Qwen 3.8 может быть предпочтительнее, а для креативных и разговорных сценариев лучше подходит GPT Astra. Полный набор запросов и результаты доступны в репозитории проекта на GitHub (https://github.com/user/pelican‑experiment).
Для разработчиков это значит, что нельзя полагаться только на одну метрику – важен баланс между точностью и креативностью. Студентам курсов стоит экспериментировать с несколькими моделями, подбирая оптимальную под задачу, а не сразу фиксироваться на «самой новой».