LLM и эмбеддинги решают проблему разнородных наименований товаров в Slurm
209 000 товаров в 150 представительствах записаны по‑разному, обычный join сопоставил лишь 1 %. LLM‑модель с эмбеддингами и fuzzy‑поиском повысила точность и избавила менеджеров от бесконечных звонков.
На Вечерней школе Slurm дата‑инженер Дмитрий Дунаев продемонстрировал, как современные методы ИИ могут решить классическую задачу бизнес‑аналитики – сопоставление разнородных наименований товаров. В компании более 209 000 SKU распределены по 150 филиалам, и почти каждый из них имеет несколько вариантов написания. Традиционный SQL‑join смог корректно соединить лишь около 1 % записей, что приводило к огромным затратам времени: менеджеры тратят по 5 минут на каждый звонок из списка, пытаясь уточнить совпадения.
Для решения проблемы команда использовала крупную языковую модель (LLM) в связке с векторными эмбеддингами и fuzzy‑поиском. Было протестировано 15 моделей разных архитектур и размеров. Единственной, которая обеспечила нужный баланс между точностью (precision) и полнотой (recall), а также скоростью обработки, оказалась модель X‑LLM‑v2 (конкретный бренд не раскрывается). Она создала векторные представления названий, после чего был построен индекс ANN, позволяющий находить похожие строки за миллисекунды.
Результат: сопоставление выросло до 87 % корректных совпадений, а количество ручных звонков сократилось более чем на 90 %. Кроме того, Дмитрий подготовил чек‑лист для внедрения подобного решения: \n1. Сбор и очистка исходных названий; \n2. Выбор LLM и генерация эмбеддингов; \n3. Построение ANN‑индекса; \n4. Настройка порога fuzzy‑схожести; \n5. Валидация на контрольном наборе; \n6. Интеграция в ETL‑pipeline.
Подобный подход показывает, как LLM могут стать практическим инструментом в data‑engineering, а не только в генерации текста.
Для разработчиков и студентов AI‑курсов это яркий пример, как LLM интегрировать в пайплайн обработки данных: от эмбеддингов до fuzzy‑поиска. Главное – тщательно подобрать модель и пороги, иначе риск получить слишком много ложных совпадений. Такой кейс открывает возможности автоматизации данных в любой компании с разрозненными справочниками.
