Исследователи из Stanford доказали эффективность мультимодальных моделей в медицине
Группа учёных из Стэнфордского университета опубликовала результаты исследования, демонстрирующего преимущества мультимодальных нейросетей в клинической диагностике. В экспериментах участвовали модели, обученные на наборах медицинских снимков и соответствующих клинических описаний.
Исследование охватило анализ рентгенографических изображений, томографических снимков и электрокардиограмм в сочетании с историями болезней пациентов. Комбинированный подход показал увеличение точности предварительной диагностики по сравнению с однорежимными системами.
Методология и результаты
Авторы работы использовали датасеты из нескольких крупных медицинских центров, содержащие более 50 тысяч де-идентифицированных записей. Мультимодальная модель продемонстрировала среднее улучшение на 18 процентов в метриках чувствительности и специфичности.
Исследователи отмечают, что интеграция текстовой информации о симптомах и анамнезе с визуальным анализом позволяет модели лучше учитывать контекст. Результаты указывают на перспективность такого подхода для вспомогательных систем принятия решений.
Работа вызвала интерес в профессиональном сообществе и стимулирует дальнейшие инвестиции в разработку медицинских ИИ-систем. Авторы планируют провести клинические испытания в сотрудничестве с практикующими врачами.