vLLM 1.0: фокус на корректность перед оптимизацией в RL‑сценариях
Выпущен vLLM 1.0 – первая мажорная версия, где приоритетом стала точность работы, а не только скорость. Обновления влияют на RL‑потоки и требуют небольших правок кода.
Hugging Face объявила о выходе vLLM 1.0 – первой полной версии после серии экспериментальных релизов 0.x. Основной месседж команды: корректность прежде чем ускорения. В новой версии исправлены более 30 критических багов, связанных с некорректным управлением токен‑буфером и расхождениями в детерминированных тестах.
Для задач reinforcement learning (RL) добавлен стабилизированный API: теперь можно безопасно использовать vllm.RLTrainer с гарантией, что каждый шаг будет воспроизводимым. Введена поддержка prefill‑prefetch‑параметров, позволяющая снизить латентность без потери точности.
С точки зрения производительности, vLLM 1.0 сохраняет почти те же показатели, что и последняя 0.5, но теперь в режиме correctness_mode модель отдает результаты, прошедшие строгие юнит‑тесты. Для пользователей, работающих с кастомными токенизаторами, добавлена проверка совместимости, а также улучшена обработка исключений при переполнении контекста.
Обновление требует небольших изменений в коде: старый параметр max_batch_size заменён на max_batch_tokens, а некоторые функции переименованы в соответствии с PEP‑8. Полный список изменений доступен в changelog vLLM 1.0.
Для разработчиков, использующих vLLM в продакшене, команда настоятельно рекомендует протестировать переход в изолированной среде, поскольку некоторые устаревшие вызовы могут вызвать DeprecationWarning. Тем не менее, улучшения в стабильности и предсказуемости делают обновление привлекательным, особенно для исследователей RL, где каждый шаг критичен.
Для AI‑разработчиков vLLM 1.0 – шанс избавиться от скрытых багов, которые часто проявлялись в RL‑тренингах. Переход потребует небольших правок API, но взамен получаем более надёжную инференс‑платформу, что сокращает время отладки и повышает доверие к экспериментам.
