Машина вместо врача: ИИ научил смартфоны и ноутбуки выявлять болезни пользователей

Израильские программисты создали сервис Binah.ai, который проверяет состояние здоровья людей через камеры мобильных устройств.

О новом стартапе рассказало издание The Times of Israel.

Благодаря новой технологии, мобильные устройства превращаются в систему для мониторинга жизненных показателей, таких как пульс, дыхание, кислородная сатурация и уровень стресса. Binah.ai использует камеры смартфонов, планшетов и ноутбуков, чтобы анализировать состояние кожи пользователя для сбора данных о его здоровье. Человеку нужно лишь посмотреть в камеру около 45 секунд, а искусственный интеллект сделает все остальное.

При заболеваниях человеческая кожа быстро меняет цвет, отображая физическое состояние и различные отклонения от нормы. Человеческий глаз неспособен уловить такие перемены, однако машина — может. Генеральный директор компании Binah.ai Дэвид Маман объяснил, что ИИ в основном следит за мельчайшими изменениями оттенков, которые зависят от кровотока под поверхностью кожи.

"Система фиксирует эти изменения, чтобы сделать выводы касательно наших жизненных показателей", — подчеркнул он. "На самом деле пульс — это пик, возникающий в процессе кровотока. Машина может увидеть этот пик в цветах RGB".

Современные камеры могут записывать видео с частотой около 30-120 кадров в секунду, что позволяет сервису собирать много разной информации о здоровье пользователя. Телефон анализирует видеоряд, фиксируя различия в красном, зеленом и синем (RGB) свете, отраженном кожей "пациента". Платформа использует технологию удаленной фотоплетизмографической обработки изображений (rPPG), которая уже применяется в Apple Watch и Fitbit. При этом программа не записывает видео, а обрабатывает его в режиме реального времени.

Как добавил Маман, алгоритму не требуется камера с высоким разрешением, однако само устройство должно быть достаточном мощным (не слабее iPhone 8). Binah.ai приходится не только изучать картинку, но еще и постоянно калибровать камеру, обнаруживать лицо, отслеживать движения головы, выбирать нужную область кожи и пр.

Еще один важный момент — правильное освещение. В слишком темном помещении или рядом с мощным источником света камера не может зафиксировать изменение цветовых оттенков, однако при надобности программа может использовать фонарик смартфона. Очки, волосы, борода и другие факторы не мешают алгоритму находить открытые участки кожи.

По словам разработчиков, искусственный интеллект обрабатывают изображения по-разному для каждого показателя, при этом некоторые симптомы можно обнаружить с помощью чистой обработки сигналов. К примеру, частоту сердечных сокращений можно подсчитать по пиковому кровотоку под кожей.

Другие жизненно важные показатели, такие как артериальное давление, изучить сложнее. Разработчики собрали в больницах большую базу данных, включая видеозаписи сотен пациентов, подключенных к медицинским устройствам. Затем они выделили несколько индикаторов для создания модели. Технология измерения давления сейчас тестируется в больнице Тель-Хашомер.

Журналисты The Times of Israel проверили работу системы на смартфоне iPhone 12, и она точно определила пульс. Показатели проверили вручную и при помощи смарт-часов Apple Watch. Пока компания предлагает свой алгоритм другим разработчикам, которые смогут внедрить его в свои приложения для iOS, Android и Windows. ИИ уже готовятся использовать страховые фирмы Momentum в Южной Африке, Generali в Европе и Sompo в Японии, еще один поставщик медицинских услуг получает разрешение в Израиле.

Технологию пока не одобрили регуляторы, поэтому ее выводы нельзя считать полноценным диагнозом, однако можно применять для регулярной проверки состояния здоровья. К примеру, врач не имеет права выписать лекарство по результатам Binah.ai, однако может направить на обследование. Как отметил Маман, технологии мониторинга здоровья стали особенно актуальны во время пандемии, когда больницы перегружены, а многие люди боятся лишний раз выходить на улицу. В связи с этим количество клиентов сервиса увеличилось в три раза. Кроме того, врачи все чаще полагаются на удаленные технологии.

"Люди понимают, что будущее не в том, чтобы отправлять вам десятки различных устройств для разных нужд. На самом деле, любой смартфон сможет предоставлять любые услуги", — подытожил гендиректор.

Сейчас стартап пытается получить медицинское разрешение в нескольких регионах, а также работает над выявлением новых показателей, таких как температура тела и уровень алкоголя в крови. В будущем технологию могут внедрить в самые разные "умные" устройства, в том числе холодильники.

Ранее ИИ научился понимать ощущения котов по выражению морды. Приложение простое в использовании и уже помогает канадским ветеринарам выявлять болезни питомцев.