Дешёвая модель в 8 раз дешевле вывела в прод и начала писать иероглифы
Разработчик заменил дорогой LLM на модель из OpenRouter, экономя 8‑кратные затраты, но уже через час в новостях появились китайские иероглифы вместо русского текста.
В рамках собственного новостного бота автор обрабатывает каждую статью через LLM: определяет категорию, переводит, задаёт тон и формирует разбор. При текущей конфигурации бот делает около 936 вызовов в сутки, что приводит к существенным расходам. Чтобы сократить бюджет, автор перебрал бесплатные и платные модели в сервисе OpenRouter и нашёл вариант, стоимость которого в 8 раз ниже текущей.
После тестов на живых промптах модель показала приемлемое качество, и разработчик быстро выкатил её в продакшн. Однако уже через час в ленте новостей появился заголовок: «Как не，让智能手机 перегревать: советы в жару». Вместо русского текста в заголовке появились китайские иероглифы, а смысл стал непонятен.
Проблема указывает на несколько потенциальных причин: недостаточная поддержка русского языка у выбранной модели, отсутствие fine‑tuning под конкретные задачи и возможные ошибки в токенизации при работе с кириллицей. Кроме того, экономия на стоимости часто сопровождается снижением качества, что может привести к ухудшению пользовательского опыта и росту нагрузки на модерацию.
Эксперты советуют проводить пилотные тесты с метриками качества (BLEU, ROUGE) перед массовым переходом, а также использовать fallback‑модель для критических запросов. В случае, если экономия важнее, стоит рассмотреть гибридный подход: дешёвая модель для простых задач и более дорогая — для тех, где требуется высокая точность.
Снижение расходов на LLM – хорошая идея, но без контроля качества вы рискуете получить «китайский» контент вместо русских новостей. Перед массовым переходом тестируйте модель на репрезентативных датасетах и держите резервную модель, чтобы избежать деградации продукта.
