Медицинский ИИ без интернета: локальный поиск в 2500 монографиях на обычных ПК

В статье, опубликованной на Habr ML 6 сентября 2026 г., описана архитектура полностью автономной (внесетевой) системы поиска медицинской информации. Основная цель проекта – обеспечить врачам и исследователям доступ к обширной базе знаний даже в условиях отсутствия стабильного интернет‑соединения и ограниченных вычислительных ресурсов.

Система построена вокруг ресурсо‑эффективной агентной структуры. Вместо тяжёлых трансформеров используется небольшая модель‑декодер (≈150 М параметров) с 8‑битной квантизацией и техникой product quantization для сжатия векторных представлений. Для хранения эмбеддингов выбран FAISS‑индекс с IVF‑PQ, позволяющий удерживать более 2500 тщательно отобранных современных монографий в памяти менее 2 ГБ.

Ключевые особенности решения:

• Полностью локальная работа: все вычисления происходят на клиентском устройстве без обращения к облачным сервисам.
• Минимальные требования к железу: система успешно запускается на обычных ноутбуках с процессором Intel i5 и 8 ГБ ОЗУ.
• Агентный подход: несколько специализированных агентов (поиск, ранжирование, резюмирование) взаимодействуют через лёгкий протокол, что упрощает масштабирование и модульную замену компонентов.
• Объём данных: база включает около 2500 современных монографий и более 10 000 статей, покрывающих широкие медицинские темы от клинической практики до фармакологии.

Для оценки качества авторы провели benchmark на наборе клинических вопросов, где система достигла R‑Precision ≈ 0.71, сопоставимого с крупными облачными сервисами, но при в 30‑раз меньшем потреблении памяти.

Полный текст статьи доступен по ссылке: https://habr.com/ru/articles/1078980/