Как построить агрегатор кибер‑безопасности: от суммаризации до оценки важности
Разработчик делится опытом создания новостного агрегатора ИБ: модели суммаризации, Textrank, фильтры шума и семь признаков важности.
Что вдохновило
Идея собрать в одном месте только действительно значимые новости по кибер‑безопасности возникла ещё несколько лет назад. Автор устал от бесконечного инфошума и хотел получать «самое важное» без лишних кликов.
Первая версия
В то время LLM‑модели ещё не были массово доступны, поэтому в качестве ядра суммаризации была выбрана открытая модель rut5_base_sum_gazeta (HuggingFace). Для оценки значимости статей использовался классический алгоритм Textrank – граф‑ориентированный метод, который ранжирует предложения по взаимосвязям.
Проблемы начального подхода
- Суммаризация давала размытый контекст, иногда упуская ключевые детали.
- Textrank оценивал важность лишь по структуре текста, игнорируя тематику и актуальность.
- Общая точность фильтрации новостей оставалась ниже 60 %.
Появление специализированных сервисов
С ростом рынка новостных агрегаторов появились решения, умеющие подбирать контент под пользовательские интересы. Однако они либо охватывали слишком широкий спектр тем, либо фокусировались на одной нише, не удовлетворяя потребность в универсальном ИБ‑агрегаторе.
Семь признаков важности
Автор выделил семь критериев, позволяющих отсеять «мусор»:
- Уровень угрозы (CVSS‑балл).
- Упоминание новых уязвимостей.
- Появление в официальных источниках (CERT, NIST).
- Количество независимых публикаций.
- Влияние на инфраструктуру (критические сервисы).
- Время публикации (свежесть).
- Оценка экспертов (рейтинги, комментарии).
Порог по данным
Для каждой новости рассчитывается суммарный балл по вышеуказанным признакам. Пороговое значение (по умолчанию 0,7) определяет, попадёт ли материал в ленту пользователя. При необходимости порог можно адаптировать под конкретные задачи – от «только критические» до «все, что стоит знать».
Текущий статус
Сейчас агрегатор использует гибридный подход: LLM‑суммаризация (модель rut5_base_sum_gazeta) в паре с Textrank‑ранжированием и правилами важности. Результаты показывают точность отбора около 78 % и существенно снижают количество нерелевантных новостей.
Для разработчиков, работающих с потоками новостей, статья показывает, как сочетать открытые LLM‑модели и классические алгоритмы ранжирования. Семь признаков важности можно адаптировать под любые тематики, а пороговый механизм позволяет гибко управлять шумом в ленте.
