Тестирование четырёх AI‑ревьюеров на наборе из 60 известных багов
Исследование сравнивает эффективность ChatGPT, Claude, Gemini и Mistral в автоматическом код‑ревью: обнаружение багов, уровень шума и влияние подсказок.
В статье на Habr AI автор провёл систематическое сравнение четырёх популярных AI‑ревьюеров – OpenAI ChatGPT, Anthropic Claude, Google Gemini и Mistral – на специально подготовленном наборе из 60 дефектов, размеченных вручную. Набор состоит из 51 пробела в тестах, 8 эквивалентных ошибок и 1 спорного случая.
Каждая модель была запущена в двух режимах: с подсказкой (prompt‑engineering) и без подсказки. При этом измерялись два ключевых показателя: процент найденных багов (recall) и уровень ложных срабатываний (precision) на файлах, где багов нет.
Результаты показали, что в режиме с подсказкой модели в среднем находят 78 % всех багов, а без подсказки – 62 %. Наиболее эффективным оказался Claude, обнаруживший 85 % дефектов при уровне шума 12 %, тогда как у ChatGPT показатель ложных срабатываний достиг 20 % в том же режиме. Gemini и Mistral продемонстрировали более сбалансованные результаты: 75 % обнаружения при 15 % шума с подсказкой и 58 % без.
Важно отметить, что все модели генерировали значительный «шум» – от 10 % до 25 % ложных предупреждений на чистых файлах, что может замедлять процесс разработки. Автор подчёркивает, что качество подсказки существенно влияет на результаты: даже простая инструкция о том, что искать, повышает recall на 10‑15 пунктов.
Статья завершает рекомендациями по использованию AI‑ревьюеров в реальных проектах: комбинировать их с традиционными линтерами, регулярно обновлять подсказки и учитывать уровень ложных срабатываний при планировании CI‑pipeline.
Для разработчиков AI‑ревьюеры уже способны находить большую часть типичных багов, но шум остаётся проблемой. Лучший подход – использовать их как дополнение к статическому анализу, а не как замену, и инвестировать в качественные подсказки, чтобы повысить эффективность.
