Сверхкомпактные форматы TOON и TRON для снижения токенной нагрузки LLM‑приложений
TOON обещает до 60 % экономии токенов по сравнению с JSON, а TRON добавляет классы и сжатие, оставаясь совместимым с существующими схемами.
В мире LLM‑приложений выбор формата данных напрямую влияет на стоимость запросов и скорость обработки. Традиционные форматы решают разные задачи: JSON — строгий, машинно‑ориентированный; YAML — удобный для чтения человеком; CSV — минималистичный и быстрый для табличных данных. Однако их токенная нагрузка часто оказывается избыточной для больших языковых моделей.
Новый TOON (Token‑Optimized Object Notation) позиционируется как сверхкомпактный формат, специально разработанный для снижения количества токенов, передаваемых в запросе. По заявлению авторов, TOON может сократить токенную длину до 60 % по сравнению с эквивалентным JSON‑документом, сохраняя при этом структуру данных. Формат использует бинарные маркеры и упрощённые типы, что позволяет LLM быстрее «понимать» смысл без лишних символов.
TRON (Typed JSON) — это расширение JSON, в котором вводятся определения классов и встроенное сжатие. Благодаря явному описанию типов данных TRON сохраняет обратную совместимость с существующими JSON‑схемами, но при этом уменьшает размер сообщения в среднем на 30 % за счёт более эффективного кодирования повторяющихся структур.
Оба формата открыты и находятся в публичных репозиториях, что упрощает их интеграцию в пайплайны на базе LangChain, HuggingFace и других фреймворков. Статью‑перевод можно прочитать на Habr ML: https://habr.com/ru/articles/1042886/.
Для разработчиков это значит, что уже сейчас можно протестировать TOON и TRON в прототипах, измерив реальное снижение токенной нагрузки и, как следствие, стоимости запросов к API OpenAI, Anthropic и другим провайдерам.
Для AI‑разработчиков TOON и TRON открывают путь к более экономичным LLM‑приложениям. Стоит протестировать их в небольших сервисах, чтобы оценить реальное сокращение токенов и убедиться в совместимости с текущими схемами. Возможные риски — необходимость адаптации парсеров и потенциальные проблемы с отладкой новых форматов.
