Unlimited-OCR от Baidu: OCR без поиска символов, только визуальные токены
Baidu представил Unlimited-OCR, который обрабатывает всю страницу как единый образ, сжимает её в визуальные токены и использует языковую модель для восстановления текста. Метод уже демонстрирует лучшие результаты, чем традиционный Tesseract.
Что такое Unlimited-OCR?
В традиционных системах OCR (например, Tesseract) процесс делится на несколько этапов: сканирование страницы, выделение областей с символами, их распознавание и формирование текста. Baidu предлагает радикально иной подход – Unlimited-OCR. Вместо поиска отдельных букв система берёт всю страницу как одно изображение, сжимает её в небольшое количество визуальных токенов и передаёт их в крупную языковую модель, которая «разворачивает» их обратно в структурированный текст.
Как это работает?
- Визуальное кодирование – изображение страницы проходит через специализированный визуальный энкодер, который превращает пиксели в компактный набор токенов (аналог «визуального словаря»).
- Языковая декодировка – полученные токены подаются в трансформер‑модель, обученную на парных данных «изображение‑текст». Модель генерирует последовательность символов, учитывая контекст всей страницы.
- Постобработка – полученный текст разбивается на блоки, абзацы и таблицы, восстанавливая исходную структуру.
Наследник DeepSeek-OCR
Unlimited-OCR позиционируется как прямой преемник идеи DeepSeek-OCR, но с более мощным визуальным энкодером и большим языковым ядром. По результатам внутренних тестов Baidu, система показывает 10‑15 % прирост точности по сравнению с лучшими открытыми OCR‑решениями и в два раза быстрее в режиме пакетной обработки.
Где можно применить?
- Оцифровка архивных документов, где традиционный layout‑анализ часто падает.
- Автоматическое извлечение данных из форм и таблиц без ручных шаблонов.
- Интеграция в чат‑боты и поисковые системы для мгновенного доступа к содержимому сканов.
Более подробно о реализации и доступных моделях читайте в статье на Habr ML: https://habr.com/ru/companies/cloud_ru/articles/1069028/ .
Для разработчиков это открывает путь к упрощённой интеграции OCR: нет необходимости в сложных пайплайнах layout‑анализа, достаточно лишь передать изображение в модель. Однако модель требует значительных вычислительных ресурсов и может генерировать «галлюцинации», поэтому стоит проверять вывод на критических данных. В учебных проектах Unlimited-OCR станет отличным примером гибридного подхода «vision‑LLM».
