DeepSeek V4 Flash лидирует в тестах Koda: 52,2 % эффективности

Что измеряли

Команда Koda запустила DeepSeek V4 Flash в четырёх популярных «харнессах» (инструментах для автогенерации кода) и сравнила её с конкурентами: Claude Code, Kilocode и OpenCode. Тесты охватывали типовые задачи разработки – от простых функций до сложных алгоритмов, а также рефакторинг и исправление багов.

Как проводился эксперимент

1. Подбор задач – 150 тестовых кейсов из открытых репозиториев GitHub, покрывающих разные языки (Python, JavaScript, Go).
2. Запуск – каждый кейс исполнялся в одинаковых условиях (CPU / GPU, ограничение по времени 30 сек).
3. Оценка – автоматический проверочный скрипт сравнивал сгенерированный код с эталоном, учитывая корректность, покрытие тестов и стиль.

Ключевые результаты

• DeepSeek V4 Flash: 52,2 % задач решено полностью корректно.
• Claude Code: 44,7 %
• Kilocode: 38,5 %
• OpenCode: 35,1 %

Помимо процента решённых задач, DeepSeek продемонстрировал на 18 % быстрее время генерации и на 12 % лучшее покрытие тестов, чем Claude Code.

Почему результаты различаются

Авторы отметили, что «харнесс» сильно влияет на контекстную подсказку модели: разные подсистемы предобработки запросов, токенизации и пост‑обработки могут как усиливать, так и подавлять потенциал LLM. В случае DeepSeek V4 Flash оптимизированный пайплайн Koda позволил раскрыть весь спектр возможностей модели.

Что дальше

Koda планирует расширить набор тестов до 500 кейсов и добавить поддержку новых языков, а также открыть открытый репозиторий с результатами, чтобы сообщество могло воспроизводить эксперименты.

Читать полную статью на Habr AI