AI полностью оцифровала архив Циолковского: 51 000 листов без эталона
Фонд 555 Архива РАН использовал нейросети для чтения 51 008 рукописных листов К. Циолковского и предложил новый способ оценки точности без референса.
В рамках проекта Фонда 555 Архива РАН была поставлена задача полностью оцифровать рукописный архив Константина Циолковского – более 51 000 листов, охватывающих более полувека научных записей. Для распознавания текста использовались современные модели OCR, обученные на смеси исторических шрифтов и рукописных образцов.\n\nОсобенностью проекта стал отказ от традиционного эталонного набора данных: в архиве нет готовых цифровых копий, а ручная разметка всех листов нереальна. Команда разработала методику оценки точности, основанную на (1) перекрестной проверке разных моделей, (2) статистическом анализе согласованности распознанных токенов и (3) случайных ручных проверках 0,5 % листов. По результатам измерений средний символный уровень ошибок (CER) составил 4,2 %, а слово‑уровень ошибок (WER) – 7,8 %. Однако в ряде технических записей, где рукописный стиль был особенно неразборчив, показатели превысили 15 % и такие фрагменты были помечены как «отрицательные» и отправлены на доработку.\n\nПроект продемонстрировал, что крупномасштабные исторические архивы можно обрабатывать полностью автоматически, а точность можно оценивать без полного набора эталонов. Полный отчёт и открытый набор данных доступны по ссылке: https://habr.com/ru/articles/1074396/.
Для AI‑разработчиков это подтверждает, что масштабные OCR‑проекты без готового ground truth становятся реальностью. Новый подход к валидации открывает возможности для оцифровки других исторических коллекций, но требует внимательного контроля ошибок в критически важных фрагментах.
