GLM‑5.2 — новая открытая модель с поддержкой контекста до 32 К токенов
Hugging Face представил GLM‑5.2 — 5,2 млрд параметров, оптимизированную для задач с длинным контекстом (до 32 К токенов), открыто доступную и готовую к интеграции в RAG‑системы.
17 июня 2026 г. компания Zhipu AI совместно с Hugging Face опубликовала блог‑пост о запуске новой крупной языковой модели GLM‑5.2. Модель содержит 5,2 млрд параметров и построена на улучшенной архитектуре Transformer с динамической скользящей‑окно‑вниманием и Rotary Positional Embedding, что позволяет ей эффективно работать с контекстом до 32 000 токенов.
GLM‑5.2 обучалась на 1,5 трлн токенов, включая большие объёмы кода, научных статей и диалоговых данных на 20+ языках. По результатам тестов на LongBench, модель превзошла предыдущие версии GLM‑4 и LLaMA‑2‑7B в задачах суммирования длинных документов, генерации кода и многотуровой диалоговой интеракции. На MMLU‑English модель набрала 71,3 % точности, а на Code‑Alpaca‑Eval — 78,9 %.
Важным нововведением стал открытый токенизатор с поддержкой Byte‑Level BPE, позволяющий без потерь обрабатывать редкие символы и эмодзи. Мы также получили доступ к готовым скриптам для инференса в PyTorch и TensorFlow, а также к LoRA‑адаптерам, что упрощает дообучение под специфические задачи.
Все артефакты (весы, токенизатор, скрипты) размещены в репозитории Hugging Face под лицензией Apache 2.0, что делает GLM‑5.2 полностью открытой моделью для исследователей и разработчиков. Планируется дальнейшее расширение контекстного окна до 64 К токенов в будущих версиях.
Ссылка на оригинальный пост: https://huggingface.co/blog/zai-org/glm-52-blog
GLM‑5.2 открывает возможности для построения RAG‑систем и агентов, где требуется анализировать большие объёмы текста без потери контекста. Для студентов и разработчиков это шанс быстро прототипировать задачи суммирования и долгосрочных диалогов без дорогостоящих облачных решений. Однако стоит помнить о росте требований к GPU‑памяти – 32 К токенов требуют минимум 48 ГБ VRAM, что может стать узким местом для небольших команд.
