Как извлечь живой спрос из шумных городских Telegram‑чатов
В статье раскрыты архитектурные решения для поиска реального спроса в хаотичных чатах: от сбора данных до семантического поиска и классификации с помощью LLM.
Городские Telegram‑чаты часто сравнивают с бесконечным потоком логов без чёткой схемы. В одном сообщении пользователь пишет «сниму квартиру», в следующем – агент публикует уже двадцатую копию объявления, далее обсуждаются курс валют, потерянный телефон, рекомендации врачей и споры, не связанные с темой. Традиционный поиск по ключевым словам быстро сталкивается с проблемами: синонимы («сдам», «сниму»), несколько языков, устаревшие сообщения и огромное количество шума.
Авторы статьи предлагают многоуровневую архитектуру, способную выделять действительно интересующие запросы:
- Сбор данных – подключение к Telegram Bot API, хранение сообщений в масштабируемой базе (ClickHouse/Elastic).
- Предобработка – детекция языка, нормализация текста, удаление дубликатов, фильтрация по времени.
- Семантическое представление – построение эмбеддингов с помощью открытых моделей (e.g. sentence‑transformers, Mistral‑Embed) и хранение их в векторном хранилище (Qdrant, Milvus).
- Кластеризация и поиск – агрегация похожих запросов, динамический поиск по векторному индексу, ранжирование по релевантности и свежести.
- Классификация LLM – использование небольших LLM (Claude, GPT‑4o) для уточнения намерения («снять», «сдать», «интересует аренда»), а также для генерации коротких резюме по каждому кластеру.
- Мониторинг и визуализация – дашборды в Grafana/Metabase, где отображаются топ‑тренды, география запросов и динамика спроса.
В результате система способна в реальном времени выделять живой спрос на аренду, покупку недвижимости, а также сопутствующие сервисы (ипотека, ремонт). Авторы делятся открытым репозиторием и набором метрик (precision@k, latency). Подробнее – в оригинальной статье на Habr AI: https://habr.com/ru/articles/1070646/.
Для разработчиков AI это отличный пример, как собрать сквозной pipeline от raw‑данных до семантической аналитики. Применяя эмбеддинги и небольшие LLM, можно быстро построить сервисы рыночного мониторинга в любой нише, но важно учитывать юридические ограничения на сбор пользовательских сообщений.
