AI‑тестировщик Claude Code нашёл в 5 раз больше багов, чем человек
За 11 недель работы агент Claude Code обнаружил 77 из 94 подтверждённых дефектов, потратив 277 часов, тогда как человек нашёл лишь 16 за 213 часов.
В статье на Habr AI автор делится результатами 11‑недельного эксперимента, в котором сравнивал эффективность AI‑тестировщика Claude Code и собственного ручного тестирования. В течение проекта вёл детальный дневник каждой сессии, фиксируя часы, затраченные агентом и человеком, а также исход каждого найденного дефекта.
Итоги показали, что агент провёл 277 часов, а человек – 213. За это время было подтверждено 94 уникальных дефекта. Из них 77 (≈82 %) обнаружил Claude Code, а только 16 (≈17 %) – тестировщик‑человек. Оставшиеся 1‑2 бага были пропущены обеими сторонами.
Автор также провёл расчёт стоимости часа работы агента (≈$12) и сравнил его с затратами на человеческий ресурс (≈$30). При такой разнице AI‑тестировщик оказался экономически выгоднее, если учитывать только количество найденных багов. Однако в некоторых типах тестов (например, UI‑тесты с нестандартными сценариями) агент показал слабые места и пропустил критический регрессионный баг, который был найден вручную.
Первоначальная оценка количества найденных дефектов оказалась завышенной почти вдвое из‑за двойного подсчёта одних и тех же багов в разных ветках. После корректировки цифры стали более реалистичными.
Полный отчёт доступен по ссылке: https://habr.com/ru/articles/1085288/
Для разработчиков AI‑ассистентов такие данные подтверждают, что автоматизированное тестирование может существенно ускорить поиск дефектов и снизить затраты, но не заменит полностью человеческий контроль, особенно в сложных сценариях. Студентам стоит экспериментировать с Claude Code в проектах, но помнить о необходимости верификации результатов.
