Дослідники розробили "розумні окуляри", які допоможуть сліпим людям розпізнавати предмети

Система містить нову функцію "акустичного дотику".

Дослідники розробили систему розумних окулярів, яка може допомогти сліпим або людям з поганим зором розпізнавати та дотягуватися до об'єктів у навколишньому середовищі.

Про це пише Newsweek.

Система, описана в дослідженні, опублікованому в журналі PLOS ONE, містить нову функцію "акустичного дотику", натхненну ехолокацією людини.

Ехолокація - це здатність виявляти об'єкти в навколишньому середовищі, створюючи звуки, які відбиваються від цих об'єктів, допомагаючи точно визначити їхнє місце розташування в просторі, а також певні характеристики.

Деякі тварини, особливо кажани та зубаті кити, покладаються на ехолокацію, щоб орієнтуватися у навколишньому середовищі. Але люди також здатні навчитися ехолокації, причому здебільшого це стосується сліпих людей.

За оцінками, на сліпоту страждають близько 39 мільйонів людей у всьому світі, а ще 246 мільйонів людей страждають на слабовидіння.

Допоміжні розумні окуляри, призначені для допомоги людям з поганим зором, зазвичай працюють, переводячи довкілля користувача в синтезовану комп'ютером мову. Наприклад, така система може описувати назву даного об'єкта та його напрямок у навколишньому середовищі. Вони також можуть мати такі функції, як управління розпізнаванням голосу для пошуку в Інтернеті або бронювання, серед іншого.

Такі розумні окуляри мають безліч важливих переваг, таких як відсутність допомоги рук, непомітний зовнішній вигляд та багатофункціональність.

"Попередні роботи показали успіх у використанні слухо-сенсорної аугментації, щоб надати користувачам точну просторову інформацію про навколишнє середовище за мінімального навчання", - пишуть автори дослідження з Технологічного університету Сіднея та Сіднейського університету в Австралії.

В останньому дослідженні вчені вивчають нову техніку, відому як "акустичний дотик", яка може допомогти сліпим або людям з поганим зором знаходити об'єкти.

На відміну від традиційних систем, розумні окуляри, описані в дослідженні, видають виразні звуки, відомі як "слухові значки", коли об'єкт потрапляє до поля зору пристрою, які передають користувачеві його особистість та місцезнаходження.

Акустичний дотик — це "використання руху голови та звуку для дослідження невідомого середовища", — розповів автор дослідження Хоу Чжу з Сіднейського технологічного університету. "Ми вважаємо, що включення руху голови та зворотного зв'язку зі звуком може дати відчуття свободи дій при дослідженні та покращити здатність користувача локалізувати конкретні об'єкти".

У ході дослідження вчені оснастили пару розумних окулярів спеціально розробленим аудіопристроєм, щоб вивчити ефективність та зручність використання акустичного дотику для пошуку та доступу до предметів. В окулярах використовуються камери, а система підключена до смартфона, на якому працює модель глибокого навчання, яка використовується для розпізнавання об'єктів.

Вчені припускають, що акустична сенсорна система має низку переваг перед традиційнішими допоміжними розумними окулярами. Крім того, що акустичний пристрій інтуїтивно зрозумілий у використанні і легко інтегрується в традиційну технологію "розумних окулярів", вони кажуть, що використання слухових значків може вимагати менше когнітивної обробки і бути доступнішим, ніж підходи до комп'ютерно-синтезованого мовлення.

"Мова корисна для передачі чіткої семантичної інформації. Однак мова вимагає вищого ступеня когнітивної обробки і є складнішою, вимагає більш тривалого часу для генерації та довшого звукового файлу", - пишуть дослідники. "Навпаки, при адекватній підготовці слухові значки можуть запропонувати більш інтуїтивний підхід до подання просторової інформації".

Слухові значки - це, по суті, короткі немовні аудіокліпи, засновані на звуках реального світу, які передають інформацію про об'єкт, подію чи ситуацію. Наприклад, звуковий значок може бути телефонним дзвінком, що позначає телефон, або звук сирени, що позначає надзвичайну ситуацію.

У ході дослідження науковці оцінили 14 учасників (сім із яких були сліпими або мали поганий зір, а також сім учасників із зав'язаними очима, які служили контрольною групою), коли вони використовували розумні окуляри з акустичним сенсорним екраном для виконання двох основних завдань.

В обох завданнях учасникам пропонували на столі два або три предмети домашнього вжитку, наприклад, книгу, пляшку, миску чи чашку.

Команда виявила, що пристрій може ефективно допомогти в розпізнаванні та досягненні об'єкта, а також дійшла висновку, що він не збільшує значно когнітивне навантаження користувача.

"Ці перспективні результати дозволяють припустити, що акустичний дотик може стати портативним і ефективним методом сенсорного збільшення", - пишуть автори в дослідженні.

Автори зазначають, що їхня акустична сенсорна система наразі має деякі важливі обмеження, які ускладнюють використання пристрою.

На думку дослідників, у нинішньому стані на систему не можна покладатися у реальній ситуації, якщо надійність розпізнавання об'єктів не буде значно покращено.

Ще одним обмеженням, виявленим у дослідженні, були високі обчислювальні потреби системи на смартфоні, яка, попри те, що була високопродуктивною моделлю, погано справлялася з вимогами реального часу, страждаючи на серйозні проблеми із нагріванням та енергоспоживанням. Таким чином, необхідно внести покращення в систему, перш ніж її можна буде включити у майбутні розумні окуляри.

"Майбутні версії парадигм акустичного дотику мають підвищити надійність розпізнавання об'єктів, покращити зручність використання системи та усунути технічні обмеження пристрою щодо енергоспоживання та нагріву", — пишуть автори.