Moonshot AI открыла веса Kimi K3: 204 задачи PAC1/ECOM1 и разбор отказов
Модель Kimi K3 от Moonshot AI прошла 204 практических задачи, набрав 61/104 в PAC1 и 44,75/100 в ECOM1. В статье разбираются типичные ошибки: нарушения схем, частичные транзакции и неэффективные маршруты.
27 июля 2026 года компания Moonshot AI официально опубликовала веса своей новой модели Kimi K3 и представила результаты её работы на двух ключевых агентных бенчмарках – PAC1 (Process Automation Challenge) и ECOM1 (E‑commerce Operations).
Для проверки практической применимости модели команда OpenAgents провела серию тестов, имитирующих реальные бизнес‑операции: работа с файлами, обработка счетов, управление корзинами, проведение платежей, возвраты и генерация отчётов. В общей сложности Kimi K3 была запущена на 204 задачах, из которых 61 из 104 в PAC1 (58,7 %) и 44,75 из 100 в ECOM1 (44,75 %).
Автор статьи подробно проанализировал как успешные трассы, так и повторяющиеся отказы. Наиболее частыми проблемами стали:
- нарушение точных схем данных (schema drift), приводившее к сбоям при валидации;
- частично выполненные транзакции, оставляющие систему в неконсистентном состоянии;
- ошибки при работе с длинными таблицами, где модель теряла контекст;
- неоптимальные маршруты запросов, увеличивая время отклика;
- пропущенные шаги в цепочке действий, что приводило к неполному выполнению сценария.
Для каждой категории отказов автор предоставил публичные трассы, демонстрирующие, как модель «запуталась», а также рекомендации по улучшению промптов и пост‑обработки.
Полный текст статьи доступен на Habr AI: https://habr.com/ru/articles/1063740/.
Kimi K3 – один из первых открытых LLM, ориентированных на агентные задачи, и её результаты дают ценные инсайты для разработчиков, планирующих внедрять автопилотные системы в бизнес‑процессы.
Для AI‑разработчиков Kimi K3 открывает возможность экспериментировать с реальными агентными сценариями без необходимости платить за закрытый сервис. Однако частые отказы указывают на необходимость тщательной валидации и построения надёжных fallback‑механизмов. Студенты курсов по агентным системам могут использовать опубликованные трассы как учебные кейсы для отладки промптов и построения безопасных пайплайнов.
