Библиографический чекер: OCR, кэш, офлайн и ML‑модули после защиты диплома

Что изменилось после защиты диплома

В статье автор рассказывает, как превратил простую проверку DOI в полноценный инженерный сервис. Основные нововведения:

• OCR – распознавание сканов и PDF‑файлов (используется Tesseract). Теперь система умеет извлекать ссылки из изображений страниц.
• Кэширование – локальное хранилище результатов запросов к Crossref и другим API, что сократило время проверки в среднем на 3×.
• Offline‑режим – возможность работать без доступа к интернету, используя предзагруженные базы данных и локальные модели.
• Классификация ошибок – ML‑модель (Fine‑tuned BERT на Hugging Face) определяет типы ошибок: неверный DOI, несоответствие названия, дублирование и т.д.
• Внешние проверки – интеграция с сервисами Google Scholar, Scopus и e‑Prints для двойной верификации.

Архитектура пайплайна

Пайплайн построен на микросервисах: ocr-service → cache-layer → validator → ml‑classifier → reporter. Каждый блок изолирован Docker‑контейнерами, что упрощает масштабирование и отладку.

Метрики и результаты

| Показатель | Значение | |------------|----------| | Точность распознавания DOI | 96 % | | Recall классификации ошибок | 94 % | | Среднее время проверки (offline) | 1.2 сек | | Сокращение количества ложных срабатываний | 78 % |

Автор подчёркивает, что одного DOI недостаточно – требуется многократная проверка источников и контекстный анализ.

Почему это важно

Проверка списка литературы превратилась из формальности в отдельную инженерную задачу, где ошибки могут стоить репутации и академических баллов. Описанный подход демонстрирует, как комбинировать традиционные API, OCR и машинное обучение для надёжного контроля качества данных.