Новый фреймворк AIRI измеряет точность медицинского ИИ против врачей
Исследователи AIRI представили открытый фреймворк для сравнения ИИ‑моделей с врачами по 10 000 реальных клинических кейсов. Первые результаты показывают, что ИИ превосходит средних врачей в большинстве задач, но есть ограничения.
В статье на Habr AI Илья Копаничук, старший научный сотрудник лаборатории «Сильный ИИ в медицине» компании AIRI, представил новый открытый фреймворк MedEval (рабочее название), цель которого – объективно измерять, насколько современные медицинские модели ИИ точнее врачей.
Фреймворк включает:
- База данных из более чем 10 000 анонимизированных клинических случаев (рентген, КТ, лабораторные результаты, истории болезни). Данные покрывают 12 направлений медицины, от кардиологии до онкологии.
- Набор метрик: AUC‑ROC, чувствительность/специфичность, время принятия решения и согласованность с рекомендациями протоколов.
- Сравнительный протокол: ИИ‑модели (GPT‑4o‑med, DeepMind Health, локальные модели на HuggingFace) тестируются одновременно с группой из 150 практикующих врачей разных уровней.
Первый раунд экспериментов показал, что лучшие ИИ‑модели превзошли средних врачей по AUC в 8 из 12 задач (в среднем 0,87 vs 0,81). При этом в редких и сложных случаях (например, редкие генетические заболевания) ИИ отставал, демонстрируя необходимость дальнейшего обучения.
Копаничук подчёркивает, что цель фреймворка – не заменить врачей, а создать прозрачный и воспроизводимый метод оценки, который поможет разработчикам понять, где их модели нуждаются в улучшении, а клиническим организациям – принимать обоснованные решения о внедрении ИИ.
Фреймворк опубликован под лицензией Apache 2.0 на GitHub: https://github.com/AIRI/MedEval. Документация и наборы данных доступны после регистрации, чтобы обеспечить конфиденциальность пациентов.
Отметим, что приложение «Помощник по здоровью», построенное на аналогичной технологии, уже получило награду Generation AI Awards 2025 в категории клиентского сервиса.
Ссылка на оригинальную статью: https://habr.com/ru/companies/airi/articles/1079898/
Для разработчиков медицинского ИИ MedEval станет ценным инструментом: он позволяет быстро проверить, где модель выигрывает у врачей, а где отстаёт. Однако важно помнить о возможных смещениях в данных и необходимости клинической валидации перед реальными внедрениями.
