VLM vs OCR+LLM: как лучше распознавать текст на изображениях

В статье на Habr ML автор делится результатами экспериментов по автоматическому распознаванию текста на изображениях и видеокадрах. Основной вопрос – что выбрать: современную Vision‑Language модель (VLM) или традиционную цепочку OCR + LLM, а также стоит ли использовать облачные сервисы или локальные установки.

Тестируемые решения

• VLM: Google Gemini Vision, Anthropic Claude 3.5 Sonnet Vision, OpenAI GPT‑4V (через API) и открытая модель LLaVA‑1.5.
• OCR + LLM: оптическое распознавание Tesseract 4.1, EasyOCR и PaddleOCR, после чего полученный текст обрабатывается LLM (Llama 3‑8B‑Instruct, Mistral‑7B) для исправления ошибок, определения языка и форматирования.

Ключевые метрики | Показатель | VLM (облачный) | OCR + LLM (локальный) | |------------|----------------|----------------------| | Точность (F1) | 92 % на печатных шрифтах, 78 % на рукописных | 95 % после пост‑обработки LLM, 81 % на рукописных | | Задержка | 300 мс (запрос + ответ) | 150 мс (распознавание + LLM) | | Стоимость | $0.005 / 1 k токенов (API) | бесплатно (OCR) + небольшие затраты на вычисления LLM | | Приватность | данные отправляются в облако | полностью локально, контроль над данными |

Выводы автора

• Для быстрых прототипов и небольших объёмов данных VLM удобны: минимум кода, поддержка сложных визуальных контекстов (таблицы, схемы).
• При необходимости высокой точности, низкой задержки и строгой конфиденциальности лучше использовать OCR + LLM, особенно если уже есть инфраструктура GPU.
• Гибридный подход – сначала лёгкое OCR, затем «умный» LLM‑корректор – даёт лучшую комбинацию стоимости и качества.

Ссылки

• Google Gemini Vision API
• Anthropic Claude Vision
• Tesseract OCR GitHub
• EasyOCR repository
• LLaVA‑1.5 model card

Эта статья будет полезна всем, кто собирает базы знаний из видеокурсов, создаёт поисковые индексы по изображениям или разрабатывает системы автоматической аннотации контента.