Квантование ломает вызов инструментов: результаты бенчмарка QuantMCP
Исследователи обнаружили, что популярный BFCL‑бенчмарк вводит в заблуждение: его оценки отрицательно коррелируют с реальной потерей качества при квантовании моделей на MCP‑серверах.
В статье на Habr ML авторы представили новый бенчмарк QuantMCP, цель которого – проверить, как квантование моделей влияет на их способность вызывать внешние инструменты в реальных условиях. Тесты проводились на серверах с ограничением в 4 ГБ видеопамяти, используя реальные схемы MCP‑серверов, а не синтетические наборы данных.
Главный вывод: популярные бенчмарки, такие как BFCL, систематически дают завышенные оценки. Корреляция между их результатами и реальной деградацией качества оказалась отрицательной (‑0.755), что свидетельствует о серьёзном разрыве между лабораторными метриками и практикой.
На живых схемах модели вели себя неожиданно. Llama‑3.2‑1B, после квантования, начала возвращать полную JSON‑схему вместо ожидаемого вызова инструмента, а иногда «галлюцинировала» имена инструментов, которых не существовало. Аналогично, Qwen3‑0.6B генерировала полностью вымышленные инструменты, что делает автоматизацию процессов ненадёжной.
Авторы подчёркивают, что такие сбои могут привести к критическим ошибкам в продуктивных системах, где инструменты вызываются автоматически (например, в цепочках LangChain или в системах автокодинга). Они призывают к пересмотру практик квантования, внедрению более репрезентативных тестов, а также к повышенной осторожности при использовании BFCL‑оценок в качестве единственного индикатора готовности модели к продакшн.
Полный набор результатов, скрипты и модели доступны в репозитории проекта, что позволяет другим исследователям воспроизвести эксперименты и проверить свои модели на аналогичных сценариях.
Для разработчиков это сигнал: нельзя полагаться исключительно на BFCL‑оценки при квантовании. Нужно проверять модели на реальных задачах и учитывать возможные сбои в вызовах инструментов, иначе автоматические пайплайны могут выйти из строя.
