Исследователи разработали "умные очки", которые помогут слепым людям распознавать предметы

Система содержит новую функцию "акустического прикосновения".

Исследователи разработали систему умных очков, которая может помочь слепым или людям с плохим зрением распознавать и дотягиваться до объектов в окружающей среде.

Об этом пишет Newsweek.

Система, описанная в исследовании, опубликованном в журнале PLOS ONE, содержит новую функцию "акустического прикосновения", вдохновленную эхолокацией человека.

Эхолокация – это способность обнаруживать объекты в окружающей среде, создавая звуки, отражающиеся от этих объектов, помогая точно определить их местоположение в пространстве, а также определенные характеристики.

Некоторые животные, особенно летучие мыши и зубастые киты, полагаются на эхолокацию, чтобы ориентироваться в окружающей среде. Но люди также способны научиться эхолокации, причем в основном это касается слепых людей.

По оценкам, слепотой страдают около 39 миллионов человек во всем мире, а еще 246 миллионов людей страдают слабовидением.

Вспомогательные очки, предназначенные для помощи людям с плохим зрением, обычно работают, переводя окружающую среду пользователя в синтезированный компьютером язык. Например, такая система может описывать название объекта и его направление в окружающей среде. Они также могут иметь такие функции, как управление распознаванием голоса для поиска в Интернете или бронирование, в том числе.

Такие умные очки обладают множеством важных преимуществ, таких как отсутствие помощи рук, незаметный внешний вид и многофункциональность.

"Предыдущие работы показали успех в использовании слухо-сенсорной аугментации, чтобы предоставить пользователям точную пространственную информацию об окружающей среде при минимальном обучении", — пишут авторы исследования с Технологического университета Сиднея и Сиднейского университета в Австралии.

В последнем исследовании ученые изучают новую технику, известную как "акустический прикосновение", которая может помочь слепым или людям с плохим зрением находить объекты.

В отличие от традиционных систем, умные очки, описанные в исследовании, издают выразительные звуки, известные как "слуховые значки", когда объект попадает в поле зрения устройства, передающего пользователю его личность и местонахождение.

Акустическое прикосновение — это "использование движения головы и звука для исследования неизвестной среды", — рассказал автор исследования Хоу Чжу из Технологического университета Сиднея. Мы считаем, что включение движения головы и обратной связи со звуком может дать ощущение свободы действий при исследовании и улучшить способность пользователя локализовать конкретные объекты.

В ходе исследования ученые оснастили пару умных очков специально разработанным аудиоустройством, чтобы изучить эффективность и удобство использования акустического касания для поиска и доступа к предметам. В очках используются камеры, а система подключена к смартфону, на котором работает модель глубокого обучения, используемая для распознавания объектов.

Ученые предполагают, что акустическая сенсорная система имеет ряд преимуществ перед более традиционными вспомогательными очками. Кроме того, что акустичное устройство интуитивно понятно в использовании и легко интегрируется в традиционную технологию "умных очков", они говорят, что использование слуховых значков может потребовать меньше когнитивной обработки и быть более доступным, чем подходы к компьютерно-синтезированной речи.

"Речь полезна для передачи четкой семантической информации. Однако речь требует высшей степени когнитивной обработки и является более сложным, требует более длительного времени для генерации и более длинного звукового файла", — пишут исследователи. "Напротив, при адекватной подготовке слуховые значки могут предложить более интуитивный подход к представлению пространственной информации".

Слуховые значки – это, по сути, короткие неречевые аудиоклипы, основанные на звуках реального мира, передающих информацию об объекте, событии или ситуации. Например, звуковой значок может быть телефонным звонком, обозначающим телефон, или звук сирены, обозначающий чрезвычайную ситуацию.

В ходе исследования ученые оценили 14 участников (семь из которых были слепыми или имели плохое зрение, а также семь участников с завязанными глазами, которые служили контрольной группой), когда они использовали очки с акустическим сенсорным экраном для выполнения двух основных задач.

В обеих задачах участникам предлагали на столе два или три предмета домашнего обихода, например книгу, бутылку, миску или чашку.

Команда обнаружила, что устройство может эффективно помочь в распознавании и достижении объекта, а также пришла к выводу, что оно не увеличивает значительно когнитивную нагрузку пользователя.

"Эти перспективные результаты позволяют предположить, что акустический прикосновение может стать портативным и эффективным методом сенсорного увеличения", — пишут авторы в исследовании.

Авторы отмечают, что их акустическая сенсорная система имеет некоторые важные ограничения, которые затрудняют использование устройства.

По мнению исследователей, в нынешнем состоянии на систему нельзя полагаться в реальной ситуации, если надежность распознавания объектов не будет значительно улучшена.

Еще одним ограничением, выявленным в исследовании, были высокие вычислительные потребности системы на смартфоне, которая, несмотря на то, что была высокопроизводительной моделью, плохо справлялась с требованиями реального времени, страдая от серьезных проблем с нагреванием и энергопотреблением. Таким образом, необходимо внести улучшение в систему, прежде чем ее можно будет включить в будущие очки.

"Будущие версии парадигм акустического касания должны повысить надежность распознавания объектов, улучшить удобство использования системы и устранить технические ограничения устройства энергопотребления и нагрева", — пишут авторы.