Как увеличить контекст LLM до миллиона токенов без регистрации и СМС
Разбираем методы расширения окна контекста (RoPE, NTK‑aware, YaRN, LongRoPE) и их влияние на скорость и точность, а также сравниваем новые модели Qwen, Gemma, MiniCPM и другие.
Ограничение окна контекста – одна из главных преград для современных LLM. Традиционные трансформеры «видят» лишь несколько тысяч токенов, что не хватает для длинных документов, кода или диалогов. В статье на Habr ML объясняется, почему это происходит: позиционные эмбеддинги (RoPE) и их фиксированная частотная шкала, а также архитектурные ограничения, связанные с вычислительной сложностью O(n²).
Для преодоления ограничения предложено несколько подходов. RoPE‑aware (или NTK‑aware) адаптирует частоты к длине контекста, позволяя модели работать с более длинными последовательностями без потери качества. YaRN (Yet another RoPE‑based method) использует нелинейную коррекцию позиционных эмбеддингов, а LongRoPE / LongRoPE2 добавляют динамический масштаб, сохраняя стабильность градиентов.
Каждый из методов имеет свои компромиссы. NTK‑aware часто даёт небольшое падение скорости, но сохраняет точность на уровне базовой модели. YaRN улучшает качество генерации, однако требует дополнительной предобученной адаптации. LongRoPE2 показывает наилучший баланс: почти линейный рост времени генерации при контексте до 1 млн токенов.
В практической части статьи протестированы конкретные модели. Qwen 3.8‑27B и Qwen 3.8‑Flash‑Next демонстрируют стабильную работу с контекстом в 1 млн токенов, однако их скорость падает на ~30 % при полном окне. Qwen 3.5 (4 B/9 B) и Gemma 4 E2B/E4B показывают хорошие результаты до 256 k токенов, после чего точность начинает ухудшаться. Модели Ornith 1.0, LFM2/LFM2.5 и MiniCPM5‑1B работают лучше всего с YaRN, позволяя достичь 512 k токенов без заметного падения качества. Выводы подтверждают, что выбор метода масштабирования зависит от конкретной модели и требований к скорости.
Таким образом, расширение контекстного окна уже не требует регистрации в облачных сервисах или отправки СМС‑кода – достаточно правильно подобрать метод позиционного масштабирования и адаптировать модель.
Для разработчиков LLM увеличение окна контекста открывает новые сценарии – от анализа длинных юридических текстов до генерации кода с полным проектным описанием. Выбор метода (NTK‑aware, YaRN или LongRoPE) должен учитывать компромисс между скоростью и точностью, особенно при работе на ограниченных ресурсах. Модели Qwen уже показывают, что миллионы токенов – реальность, но их эффективность падает без оптимизации. Студентам стоит экспериментировать с открытыми версиями и профилировать нагрузку, чтобы подобрать оптимальный набор параметров.