Semantic Chunking повышает эффективность RAG‑систем

В блоге n8n (06 авг. 2026) представлена методика semantic chunking — динамического разбиения больших текстов на смысловые блоки вместо традиционного фиксированного размера (например, 500‑токеновых фрагментов). Автор сравнивает два подхода на примере Retrieval‑Augmented Generation (RAG) и демонстрирует, как семантическое разбиение повышает качество извлечения и снижает затраты.

Ключевые результаты:

• Точность поиска выросла с 71 % до 84 % (по метрике Recall@5) благодаря тому, что запросы попадают в более релевантные куски текста.
• Среднее количество токенов в запросе‑ответе сократилось на 27 % (с 1 200 до 880 токенов), так как система запрашивает только действительно нужный контекст.
• Время отклика уменьшилось в среднем на 15 % за счёт меньшего объёма передаваемых данных.

Техника работает так: сначала модель‑эмбеддер (например, OpenAI text-embedding-3-large) преобразует весь документ в векторные представления. Затем алгоритм группирует соседние предложения, максимизируя их семантическую схожесть, пока не превысит порог «информационной плотности». Полученные чанки могут иметь разную длину — от 150 до 800 токенов, но каждый из них представляет законченную мысль.

Для практического применения n8n предлагает готовый workflow: загрузка документа, генерация эмбеддингов через API OpenAI, кластеризация с помощью k-means и сохранение чанков в базе данных. Автоматизация позволяет интегрировать semantic chunking в любой RAG‑pipeline без написания кода.

Подробнее о методике и примерах кода можно узнать в оригинальной статье: https://blog.n8n.io/semantic-chunking/