Эксперимент: 60 млн токенов в stealth/ox‑alpha и 127 узлов в n8n

В статье на Habr AI автор делится результатами практического эксперимента, в котором он «скормил» модели stealth/ox‑alpha целых 60 млн токенов. Это более чем в десять раз превышает типичный контекстный лимит большинства публичных LLM и позволяет проверить, как модель справляется с экстремально длинными вводными данными.

Для организации процесса был использован n8n – визуальный конструктор автоматических рабочих потоков. Автор построил цепочку из 127 узлов, каждый из которых отвечал за отдельный этап: загрузка данных, предобработка, разбивка на чанки, передача в LLM, пост‑обработка с помощью regex и сбор итогового ответа. Такой гибридный подход сочетает LLM‑tools (прямой вызов модели) и регулярные выражения для точного извлечения нужной информации.

Ключевые цифры:

• 60 000 000 токенов общего объёма входных данных;
• 127 узлов в n8n‑потоке;
• Время полного цикла – около 3,5 ч, при этом стоимость вычислений составила ~0,12 USD за токен‑млн (при текущих тарифах).

Автор отмечает, что модель сохраняет когерентность даже при таком объёме, но появляются новые ограничения: рост латентности, необходимость более тщательной разбивки текста и риска «деградации» качества при слишком больших чанках. Полный разбор кода и конфигураций доступен в репозитории, ссылка указана в статье.

Ссылка: https://habr.com/ru/articles/1076084/