AI‑тестирование нового поколения: Perfeccionista‑framework с RAG и LLM
Сбербанк объединил Perfeccionista‑framework, Retrieval‑Augmented Generation и MCP‑сервер, чтобы LLM понимали контекст тестов, превращая QA‑инженера в промпт‑инженера.
В крупных корпорациях «зоопарк» фреймворков автоматизации часто приводит к разрастанию технического долга и падению эффективности. Сбербанк решил эту проблему, создав централизованное решение на базе открытого Perfeccionista‑framework. К нему был подключён RAG‑модуль (Retrieval‑Augmented Generation) и MCP‑сервер, обеспечивающий взаимодействие с крупными языковыми моделями (LLM).
Что изменилось?
- Контекстуальное понимание: LLM теперь «читают» тестовые сценарии, их шаги и ожидаемые результаты, что позволяет генерировать более точные проверки и автоматически дополнять тесты новыми кейсами.
- Унификация стека: вместо множества разрозненных инструментов команда использует один «ядро‑фреймворк», что упрощает поддержку и ускоряет ввод новых сотрудников.
- MCP‑сервер: обеспечивает безопасный и масштабируемый шлюз к LLM, позволяя задавать запросы в режиме реального времени без раскрытия корпоративных данных.
Практический эффект
- Сокращение времени написания новых тестов на 30‑40 %.
- Снижение количества дублирующихся скриптов на ≈25 %.
- Появление новой роли – prompt‑инженер‑QA, где специалист сочетает глубокие предметные знания с навыками построения запросов к LLM.
Более подробно о решении и первых результатах можно прочитать в статье на Habr ML: https://habr.com/ru/companies/sberbank/articles/1034680/. Также доступен открытый репозиторий Perfeccionista‑framework на GitHub.
Технологический прорыв в автоматизации тестирования показывает, как ИИ меняет традиционные процессы QA и открывает новые карьерные пути.
Для разработчиков и студентов это сигнал: навыки prompt‑инжиниринга становятся обязательными в арсенале QA‑инженера. Интеграция LLM позволяет ускорить написание тестов, но требует контроля качества запросов и понимания ограничений моделей.
