От рекомендаций к графу патогенеза: как снизить галлюцинации LLM в медицинском графе
Автор превратил 100‑страничные клинические рекомендации в интерактивный граф заболевания, устранив LLM‑галлюцинации с помощью RAG, промпт‑инжиниринга и валидации. Подробнее о методах и результатах.
В статье на Habr AI описывается практический опыт построения медицинского knowledge graph из объёмных клинических рекомендаций. Автор взял документ объемом около 100 страниц, охватывающий диагностику и лечение хронической болезни лёгких, и попытался с помощью крупной языковой модели (LLM) автоматически преобразовать его в граф патогенеза – набор узлов (симптомы, биомаркеры, процедуры) и связей между ними.
Первый запуск показал высокий уровень «галлюцинаций»: модель генерировала несуществующие препараты и неверные причинно-следственные связи. Оценка на выборке из 200 утверждений дала 3 % ложных фактов. Чтобы снизить ошибочность, автор применил несколько техник:
- Retrieval‑Augmented Generation (RAG) – подключение к базе оригинального текста через векторный поиск, чтобы модель могла «проверять» каждый факт.
- Промпт‑инжиниринг – добавление строгих инструкций и примеров «правильного» формата вывода.
- Онтологическая валидация – проверка новых узлов и ребер против медицинской онтологии SNOMED CT.
- Итеративный рефайнмент – несколько раундов генерации и ручного контроля, после чего результаты сохраняются в Neo4j.
В результате уровень галлюцинаций упал до 0,4 %, а полученный граф насчитывает ~1 500 узлов и 3 000 ребер. Полный пайплайн, включая скрипты и Docker‑конфигурацию, опубликован на GitHub (https://github.com/author/medical‑kg). Статья подчёркивает, что даже при использовании самых мощных LLM без контроля невозможно обеспечить надёжность в медицине.
Ключевые цифры: 100 стр., 3 % → 0,4 % ошибок, 1 500 узлов, 3 000 связей, 2 ч. вычислительного времени на RAG‑этап.
Для разработчиков AI это подтверждает, что без строгой привязки к источникам и онтологиям LLM‑выводы в медицине недопустимы. Комбинация RAG, промпт‑инжиниринга и пост‑валидации открывает путь к безопасным медицинским графам, но требует дополнительного QA‑слоя.
