Как LeaderChat автоматизировал поддержку и продажи с помощью LLM, но половина бюджета ушла на их оплату

В интервью Дмитрию Бусову, CEO проекта LeaderChat, рассказал о трансформации сервиса, который изначально представлял собой обычный онлайн‑чат с живыми операторами. После появления крупных LLM‑моделей команда решила не просто добавить ИИ в существующий процесс, а полностью переосмыслить подход к автоматизации клиентского общения.

Ключевые шаги:

1. От живых операторов к LLM – вместо простого «подключения» модели к чат‑боту, компания построила конвейер, где каждый запрос проходит через несколько уровней: классификация, подбор сценария, генерация ответа и пост‑контроль.
2. Промпт‑инжиниринг – команда создала библиотеку «промптов‑шаблонов», адаптированных под типичные запросы в поддержке и продажах. Это позволило сократить количество «плохих» ответов и повысить конверсию в продажу на ≈ 30 %.
3. Контроль расходов – после запуска выяснилось, что оплата за токены LLM составляет около половины общего бюджета проекта. Был внедрён мониторинг стоимости запросов, динамическое переключение на более дешёвые модели в периоды низкой нагрузки и кэширование часто повторяющихся ответов.
4. Метрики успеха – за первые три месяца автоматизации среднее время ответа упало с 45 сек до 7 сек, уровень удовлетворённости клиентов вырос до 92 %, а затраты на оплату операторов сократились на 65 %.

Итоги:

• Полный пересмотр архитектуры автоматизации оказался более эффективным, чем простое «добавление ИИ».
• При этом стоимость LLM‑вычислений может стать значимым фактором расходов, требующим постоянного контроля.

Подробнее о проекте – Habr AI.