Исследования: диагностика болезней с помощью искусственного интеллекта пока малоэффективна

Согласно ряду научных работ, искусственный интеллект лучше анализирует медицинские фотоснимки на предмет таких болезней, как пневмония и рак кожи, чем врачи.

Однако этот вывод ставится под сомнение недавними исследованиями.

В статье, опубликованной в медицинском журнале The BMJ, говорится что многие из подобных исследований преувеличивают свои выводы, в результате чего технологии искусственного интеллекта на самом деле малоэффективны в сравнении с комплексной врачебной диагностикой.

Это открытие важно, потому что оно подрывает огромные перемены в отрасли здравоохранения, которая стремится использовать технологии для более быстрой диагностики заболеваний.

Авторы статьи обеспокоены тем, что чрезмерно усердные компании и их инвесторы могут настаивать на продаже технологии, до ее тщательного тестирования, которая по сути является еще сырой и не готовой к массовому использованию.

«Без всякого неуважения к венчурным капиталистам - очевидно, что они являются важной частью процесса финансирования многих из подобных инноваций, - но, очевидно, их энтузиазм всегда состоит в том, чтобы стараться как можно быстрее вывести на рынок новую технологию», - говорит Мюра Нагендран один уз учредителей издания.

«Хотя мы разделяем этот энтузиазм, мы также осознаем, насколько важно убедиться, что эти технологии безопасны и работают эффективно, если мы введем их в массовом порядке».

Это открытие также касается текущей пандемии коронавируса.

Некоторые исследователи утверждают, что они разработали системы искусственного интеллекта, которые быстрее, чем люди диагностируют наличие вируса COVID-19, при изучении компьютерной томографии грудной клетки.

В недавнем научном обзоре рассматривалось почти 100 исследований различных типов искусственного интеллекта, называемого глубоким обучением, который используется при медицинском сканировании различных расстройств, включая дегенерацию желтого пятна, туберкулез и некоторые виды онкозаболеваний.

Обзор показал, что в 77 исследованиях, в которых отсутствовало рандомизированное тестирование, содержались конкретные комментарии в тезисах или резюме, сравнивающие эффективность системы искусственного интеллекта с диагностикой врачей-людей.

Только 23 из них сказали, что ИИ «превосходил» живых врачей по диагностике некоторых заболеваний.

Одна из главных проблем заключается в том, что существует «искусственный (виртуальный) характер большинства таких исследований», в которых исследователи в основном утверждают, что их технология «превзошла доктора», говорит Эрик Тополь, основатель и директор некоммерческого исследовательского института Скриппса.

По его словам, абсурдно сравнивать эффективность ИИ с врачами-людьми, потому что в реальном мире выбор между системой ИИ или врачом-человеком не всегда бывает доступен.

Нагендран, академический клинический сотрудник Национального института исследований в области здравоохранения Великобритании, говорит, что исследования, описывающие превосходство ИИ над врачами-людьми, могут вводить людей в заблуждение.

«Вокруг этой проблемы создано много ажиотажа, и это может очень быстро перейти через СМИ в реальные истории, которые пациенты слышат и видят, говоря что-то вроде: «Уже не за горами то время, когда ИИ заменит вашего доктора», - говорит он.

По словам Нагендрана, помимо основной ошибки в сопоставлении ИИ с людьми, одна из больших проблем заключается в том, что такие протоколы, как правило, не соответствуют более строгим стандартам отчетности, которые профессионалы здравоохранения пытаются установить в течение последнего десятилетия.

Например, один больной вопрос заключается в том, что машины, как правило, не в состоянии измерить точность своих моделей глубокого обучения для нескольких наборов данных, которые могут включать в себя различные группы людей, а не только ограниченное число пациентов.

Люк Окден-Райнер, директор по исследованиям в области медицинской визуализации в Королевской больнице Аделаиды в Австралии, заметил подобную проблему, когда исследовал несколько недавно опубликованных работ об использовании глубокого обучения для диагностики COVID-19 с помощью компьютерной томографии грудной клетки.

Как и в случае с ошибочными медицинскими исследованиями, описанными в научном обзоре, документы, связанные с коронавирусом, основывали свои выводы на ограниченном количестве данных, которые не были репрезентативными для всего населения, - проблема, известная как систематическая ошибка выбора.

В одной из работ Окден-Райнер отметил, что исследователи разработали систему глубокого обучения для распознавания коронавируса по данным, полученным от 1014 пациентов в университете Тунцзи в Шанхае.

Эти пациенты были диагностированы как имеющие COVID-19 через обычные тесты мазка, используемые, чтобы обнаружить болезнь; у них также были проведены КТ грудной клетки, чтобы узнать, есть ли какая-либо инфекция в их легких.

Но эта система глубокого обучения, вероятно, была обучена на искаженных данных.

Врачи, могли подозревать, что у пациентов были проблемы с легкими, связанные с COVID-19, поэтому они заказали компьютерную томографию грудной клетки пациентов.

Та же технология вряд ли будет хорошо работать с людьми, у которых есть COVID-19, но при этом нет никаких симптомов в легких.

«Как правило, точные и полные наборы данных более полезны», - говорит Окден-Райнер.

Окден-Райнер поставил под сомнение необходимость того, чтобы исследователи ИИ даже публиковали статьи об использовании глубокого обучения для диагностики коронавируса, объясняя, что текущее тестирование уже эффективно и что есть более важные задания, с которыми ИИ может помочь в нынешнее время.

«Простое обнаружение COVID-19 на КТ вряд ли будет очень полезным», - говорит Окден-Райнер.

Тополь соглашается с Окден-Райнером, говоря: «Может быть полезно иметь алгоритм обзора компьютерной томографии легких на предмет того, связаны ли это с COVID-19, но в действительности компьютерная томография может не понадобится».Тополь поясняет, что во всем мире распространяются все более традиционные инструменты тестирования, что делает их более доступными, чем компьютерные томограммы, которые стоят значительно дороже.

По словам Тополя, все эти недавние медицинские исследования ИИ показывают, что люди должны проявлять некоторый скептицизм при рассмотрении таких выводов.

Это, по сути, предварительные исследовательские работы, в которых освещается потенциальное использование ИИ в современной системе здравоохранения, но исследователям все еще необходимы более глубокие клинические испытания для проверки эффективности этих технологий.