ИИ в медицине: почему сравнение с врачами — это не всегда честный тест

Вы когда-нибудь задумывались, можно ли доверить искусственному интеллекту своё здоровье? В последнее время всё чаще появляются новости, что ИИ ставит диагнозы не хуже, а иногда и лучше врачей. Но так ли это на самом деле? Учёные из [Journal of the American Medical Informatics Association] (JAMIA) решили разобраться в этом вопросе и опубликовали статью, которая заставляет задуматься: а действительно ли тесты, которыми проверяют ИИ, честны по отношению к нему?

Что происходит на самом деле?

Представьте, что вы решили сравнить двух поваров: одного — профессионального шеф-повара, а другого — домашнего кулинара. Вы даёте им одинаковый набор продуктов и просите приготовить блюдо. Но если вы дадите шефу только экзотические ингредиенты, а домашнему — обычные, результат будет нечестным. Примерно так же обстоит дело с ИИ и врачами.

В исследовании, на которое ссылаются авторы, сравнивали общий ИИ (например, ChatGPT) с клиническим ИИ, который специально обучен на медицинских данных. И общий ИИ показал себя не хуже! Звучит впечатляюще, правда? Но авторы статьи утверждают, что это сравнение было несправедливым из-за ограниченного набора тестов.

Почему тесты могут быть нечестными?

Во-первых, набор задач был слишком узким. Представьте, что вы проверяете знания врача только по кардиологии, но при этом он — дерматолог. Конечно, он покажет средний результат, но это не отражает его реальные навыки. Точно так же и ИИ: если тестировать его только на лёгких вопросах, он может показать высокий результат, но не справиться со сложными случаями.

Во-вторых, качество данных. В исследовании использовались вопросы из открытых источников, таких как экзаменационные билеты. Но реальная медицинская практика — это не тесты с выбором ответа. Это живые пациенты с запутанными симптомами, где нужно учитывать историю болезни, результаты анализов и даже эмоциональное состояние пациента. ИИ, который учился на тестах, может растеряться в реальной ситуации.

В-третьих, сравнение с врачами было проведено не совсем корректно. Врачи, которые участвовали в исследовании, могли быть не мотивированы на 100%, или у них было ограниченное время. А ИИ, наоборот, работал в идеальных условиях. Это как сравнивать спринтера на Олимпиаде с человеком, который просто бежит по утрам — условия разные, результаты несопоставимы.

Что это значит для нас?

Авторы статьи призывают к осторожности: прежде чем радоваться победам ИИ в медицине, нужно убедиться, что тесты, которым мы его подвергаем, действительно отражают реальную сложность врачебной практики. ИИ — это мощный инструмент, но он не заменит врача, а лишь поможет ему. Например, ИИ может быстро проанализировать тысячи медицинских статей или подсказать возможные диагнозы, но окончательное решение всегда остаётся за человеком.

Так что, когда в следующий раз вы услышите, что ИИ поставил диагноз лучше врача, задумайтесь: а в каких условиях проходило сравнение? Не спешите доверять громким заголовкам. Здоровье — это слишком серьёзно, чтобы полагаться только на алгоритмы.