Три месяца с Claude: быстрый ассистент, но проблемный программист
Опыт трёх месяцев работы с Claude показал, где LLM экономит время, а где вводит в заблуждение, особенно при генерации кода.
В статье «Три месяца с Claude: хороший ассистент, плохой программист», опубликованной на Habr ML, автор делится результатами интенсивного тестирования модели Claude в реальном рабочем процессе разработчика. За три месяца команда использовала Claude для разных задач: поиск информации, написание технической документации, генерацию тестов и, главное, написание кода.
Что сработало
- Быстрый поиск и суммирование: Claude успешно отвечал на вопросы по API, предлагал решения типовых проблем и экономил до 30 % времени на исследование.
- Генерация шаблонов и тестов: При создании boilerplate‑кода и unit‑тестов модель показывала высокий уровень точности, позволяя ускорить подготовку проекта.
Где возникли проблемы
- «Галлюцинации»: При запросах, требующих точных цифр или специфических деталей, Claude часто придумывал ответы, что приводило к необходимости двойной проверки.
- Кодогенерация: При написании более сложных функций модель часто вводила синтаксические ошибки, использовала устаревшие библиотеки и предлагала неоптимальные алгоритмы. В среднем 40 % сгенерированных фрагментов требовали ручного исправления.
Выводы Автор подчёркивает, что Claude полезен как «умный поиск» и «помощник‑тренер», но пока не заменит профессионального разработчика. Для снижения риска ошибок рекомендуется использовать модель в паре с автоматическими линтерами и тестами.
Подробнее читайте оригинальную статью: https://habr.com/ru/companies/otus/articles/1069740/
Claude отлично подходит для ускорения рутинных задач – поиск, документация, простые шаблоны. Однако при генерации кода он всё ещё «галлюцинирует», поэтому разработчикам следует проверять каждый фрагмент и использовать статический анализ. На практике это значит, что LLM‑ассистенты могут стать частью CI‑pipeline, но полностью полагаться на них пока нельзя.
