Fable и 10 LLM: сравнение способностей реорганизовать сложный код
В эксперименте 11 моделей (5 из США, 6 из Китая) разбирали «god node» из LangGraph‑агента, предлагали решения и оценивали друг друга. Три метода измерения доверия показали, какие LLM действительно умеют реорганизовать код.
Что проверяли
В статье на Habr AI автор взял так называемый god node – критический элемент реального LangGraph‑агента, где сосредоточены несколько взаимосвязанных функций и сложных зависимостей. Цель — понять, насколько крупные языковые модели способны распутать такой узел и предложить оптимальную реструктуризацию кода.
Участники эксперимента
Было привлечено 11 моделей: пять американских (Claude, Gemini, ChatGPT, GPT‑4o, Llama‑2) и шесть китайских (Qwen, Spark, ERNIE, Baichuan, Tongyi, Fable). Каждая модель получила исходный код узла и задачу: предложить план реорганизации, а затем оценить предложения остальных участников.
Методика оценки
- Самостоятельный план – модель генерирует пошаговое описание, как разбить и переупорядочить функции.
- Кросс‑оценка – после получения всех планов каждая модель выставляет рейтинг чужим решениям, используя критерии читаемости, эффективности и риска регрессий.
- Три уровня доверия – автор сравнил (а) согласованность оценок, (b) совпадение с человеческой экспертизой (ручная проверка 3 инженерами) и (c) практический результат: запуск рефакторинга в sandbox‑окружении и измерение метрик времени сборки и количества тест‑фейлов.
Ключевые результаты
- Fable и Claude показали наибольшую согласованность с человеческой оценкой (92 % совпадений).
- Китайские модели в среднем отставали в кросс‑оценке, но Qwen продемонстрировал сильный рост после дополнительного fine‑tuning.
- Три метода доверия дали схожие ранжирования, однако только практический запуск выявил, что некоторые «идеальные» на бумаге планы приводили к росту времени сборки из‑за избыточных абстракций.
Что дальше
Автор предлагает использовать комбинированный подход – кросс‑оценка плюс sandbox‑тесты – как более надёжный способ выбора LLM для автоматической реорганизации кода в продакшене.
Для разработчиков, которые планируют внедрять LLM‑ассистентов в CI/CD, эксперимент показывает, что нельзя полагаться только на рейтинг моделей. Нужно проверять реальные изменения в sandbox‑окружении и учитывать различия в оценках между западными и китайскими LLM. Fable и Claude выглядят наиболее надёжными, но даже они иногда генерируют избыточный код.
