Microsoft опубликовала в Science работу об ИИ-диагносте: 83% против 36% у врачей

22 октября журнал Science опубликовал работу Microsoft «Sequential Diagnosis with Language Models» о системе MAI-DxO — ИИ-диагносте, который ведёт случай так же, как врач: расспрашивает, назначает исследования и пересматривает гипотезы по мере поступления данных. На 304 сложных случаях из клинических разборов New England Journal of Medicine система дала верный диагноз в 83,2% случаев. Врачи общей практики — в 36,1% при доступе к справочникам и интернете и в 22,3% без них.

83,2% верных диагнозов на 304 сложных случаях NEJM — примерно вдвое выше, чем у врачей со справочниками, и почти в четыре раза выше, чем у врачей без них.

Как устроен оркестратор

MAI-DxO имитирует консилиум: несколько агентов предлагают свои версии, выбирают, что ещё спросить у пациента и какие анализы заказать, и оспаривают выводы друг друга. Оркестратор сводит спор к решению и на каждом шаге сопоставляет ожидаемую ценность исследования с его стоимостью. Основные результаты получены на коммерческой модели OpenAI GPT-5; при повторной проверке на GPT-5.5 преимущество сохранилось без изменения метода оркестрации, то есть подход не привязан к одному поколению модели.

Что показал бенчмарк

Вместе с системой Microsoft представила SDBench — интерактивный тест из 304 сложных случаев NEJM и типичных приёмов скорой помощи из базы MIMIC-IV-ED. Модель и врач начинают с минимума информации и сами решают, что запросить дальше; оценивается не только ответ, но и путь к нему, объём запрошенных данных и стоимость обследования.

• NEJM: 83,2% у MAI-DxO против 36,1% и 22,3% у врачей.
• Скорая помощь: 80,3% против 46,8% в среднем у врачей на случаях MIMIC-IV-ED.
• Цена: одна из конфигураций, сильнее оптимизированная по цене, дала 81% точности при менее половины стоимости сопоставимых систем.
• Сравнение: ни один человеческий или машинный подход не оказался одновременно точнее и дешевле MAI-DxO.

Ограничения и следующий шаг

Авторы прямо оговаривают: сравнение шло на контролируемом текстовом бенчмарке и не доказывает превосходства над узкими специалистами, мультидисциплинарными командами или реальной практикой. Дальше — клинические испытания в партнёрстве с Beth Israel Deaconess Medical Center в Бостоне, где систему проверят на триаже в приёмных отделениях. SDBench открывается для части случаев NEJM вместе с кодом Gatekeeper, Judge и оценки стоимости, чтобы результаты можно было воспроизвести на других моделях.

Почему это важно

Медицинские лицензионные экзамены проверяют знания, а не умение вести диагностику шаг за шагом — именно этот разрыв и измеряет SDBench. Если результаты воспроизведутся в клинике, ИИ перестаёт быть справочником и становится рабочим инструментом диагностики, где ключевой метрикой становится не «угадал ответ», а обоснованность и стоимость каждого назначения.

Источники: Microsoft AI, The Verge, Becker's Hospital Review.