ML‑пайплайн для ранжирования подозрительных финансовых транзакций: от классификации к оценке риска
Старший инженер по данным Максим Коцюба построил сквозной MLOps‑проект, который не только классифицирует, но и ранжирует операции по степени риска, сокращая количество ложных срабатываний.
В статье на Habr ML старший инженер по данным Максим Коцюба делится опытом создания сквозного ML‑пайплайна для обнаружения подозрительных финансовых транзакций. Традиционные системы финансового мониторинга генерируют огромное количество ложных срабатываний, что приводит к перегрузке аналитиков. Чтобы решить эту проблему, автор построил конвейер, который сначала классифицирует транзакцию (законна/подозрительна), а затем оценивает её степень риска с помощью ранжирующего модели.
Пайплайн состоит из четырёх ключевых этапов: 1) сбор и агрегация данных из банковских систем, 2) предобработка и feature‑инжиниринг (включая временные, гео‑ и поведенческие признаки), 3) обучение двух моделей – градиентного бустинга для бинарной классификации и LightGBM‑ранкера для оценки риска, 4) деплоймент через Docker‑контейнеры и оркестрацию в Kubernetes с CI/CD на GitLab CI.
Для снижения латентности автор использует онлайн‑обучение на новых данных, а также реализовал мониторинг метрик (Precision, Recall, NDCG) через Prometheus и Grafana. В результате количество ложных срабатываний сократилось на 42 %, а среднее время реакции аналитика уменьшилось с 15 минут до 3 минут. Код и конфигурации опубликованы в открытом репозитории, что позволяет другим специалистам быстро адаптировать решение под свои задачи.
Статья полезна как для практиков MLOps, так и для финансовых аналитиков, стремящихся автоматизировать процесс оценки риска.
Для разработчиков ML‑систем в финтехе это пример, как добавить слой ранжирования к обычной классификации и реально уменьшить нагрузку на аналитиков. Интеграция CI/CD и мониторинга делает пайплайн готовым к продакшн‑использованию, а открытый код ускорит внедрение аналогичных решений в других банках.
