Что спрашивают на NLP‑собеседованиях: архитектуры LLM, инференс и оптимизация

Тренд на глубинные вопросы в NLP‑интервью

В последние месяцы работодатели в области обработки естественного языка начали отбирать кандидатов не только по базовым знаниям трансформеров, но и по пониманию современных GPT‑подобных моделей. Статьи, такие как эта на Habr AI, фиксируют основные темы, которые теперь встречаются в вопросах:

• Decoder‑only архитектура – почему почти все генеративные LLM (GPT‑4, LLaMA, Claude) используют только декодер, а не полную encoder‑decoder схему.
• Отличия LLaMA от «ванильного» Transformer – изменения в позиционных эмбеддингах (RoPE), нормализации (RMSNorm) и активациях (SwiGLU, GQA).
• Техники ускорения инференса – fused kernels, FlashAttention, KV‑cache, PagedAttention, continuous batching, speculative decoding, а также методы сжатия модели: квантизация и дистилляция.

Почему инференс дорогой?

Генерация текста в реальном времени требует больших вычислительных ресурсов: каждый токен требует обращения к полному набору параметров модели, а также поддержания KV‑кэша для всех предыдущих токенов. Это приводит к высоким затратам на GPU‑память и вычислительные операции.

Как оптимизировать?

1. Fused kernels – объединяют несколько операций в один GPU‑kernel, уменьшая накладные расходы.
2. FlashAttention – реализует attention без промежуточных матриц, экономя память.
3. KV‑cache / PagedAttention – хранит уже вычисленные ключ‑значения, позволяя переиспользовать их при генерации новых токенов.
4. Continuous batching – группирует запросы разных пользователей в один батч, повышая утилизацию GPU.
5. Speculative decoding – предсказывает несколько токенов заранее, сокращая количество обратных проходов.
6. Квантизация и дистилляция – уменьшают размер модели без значительной потери качества, позволяя запускать её на менее мощных устройствах.

Эти темы уже стали обязательными для любого специалиста, желающего работать с LLM в продакшене.