Почему скрыть подписи в документах оказалось сложнее, чем удалять фамилии

Что произошло

В статье на Habr ML автор описывает процесс обезличивания конфиденциальных документов в полностью закрытом контуре: без доступа к интернету, на одной машине с одной видеокартой. Задача – удалить персональные данные (фамилии, телефоны, адреса, подписи) перед передачей документов наружу.

Ключевые этапы

1. Удаление фамилий – удалось автоматизовать за ~7 дней. Был использован OCR‑движок (Tesseract) в связке с простыми регулярными выражениями и проверкой контекста.
2. Редактирование подписей – заняло 1,5 месяца. Автор пробовал:
   • классические методы пороговой обработки и морфологии в OpenCV;
   • сегментацию с помощью предобученных моделей (Mask RCNN, U‑2‑Net);
   • обучение небольших сверточных сетей на собственных разметках (≈2 000 подписей).
3. Провалы – большинство «очевидных» решений (например, простое замазывание прямоугольниками) приводили к искажению структуры документа, потере подпунктов и невозможности последующего OCR.

Цифры и выводы

• Объём данных: 12 000 страниц, 3 500 уникальных подписей.
• Точность распознавания фамилий: 98 % после первой недели.
• Точность удаления подписей: максимум 73 % при лучшем эксперименте, но с высоким числом ложных срабатываний (подписи иногда оставались, а иногда стиралась часть текста).
• Время обучения модели: 4 часа на RTX 3060, 30 эпох.

Ссылка

Полтора месяца я учился закрашивать подписи. Что не сработало – Habr ML

Что дальше?

Автор планирует комбинировать детекцию подписи с контекстным анализом (позиция в нижней части страницы, наличие графических элементов) и исследовать методы генеративного заполнения (in‑painting) для более естественного восстановления фона.