Китайские ученые создали алгоритм, позволяющий управлять компьютером с помощью жестов

Группа китайских ученых под руководством Чжи Ю из Университета Чжуншань разработала алгоритм распознавания жестов. Он помогает управлять компьютером с помощью движения рук.

Ученые отметили, что жесты рук — важный способ общения, который можно использовать для управления компьютером. рогресс в разработке камер, анализе изображений и машинном обучении постепенно делает оптическое распознавание жестов все удобнее с каждым годом. Но, у современных технологий пока есть множество ограничений — высокая вычислительная сложность, низкая скорость, точность или небольшое количество распознаваемых жестов. Чтобы решить эти проблемы, китайские ученые разработали алгоритм распознавания жестов, который обеспечивает баланс между сложностью, точностью и применимостью.

Одна из главных особенностей нового алгоритма — адаптивность к разным типам рук. Сначала алгоритм пытается классифицировать тип руки пользователя как «тонкий», «нормальный» или «широкий» на основе трех измерений, учитывающих взаимосвязь между шириной ладони, длиной ладони и пальца. Если классификация успешна, на следующих этапах распознавания сравнивается только жест ввода с сохраненными образцами того же типа руки.

«Традиционные простые алгоритмы, как правило, страдают от низкой скорости распознавания, потому что они не могут справиться с разными типами рук. Наш алгоритм сначала классифицирует тип руки, а затем, используя образцы жестов из библиотек, распознает необходимый», — рассказал Чжи Ю.

На этапе предварительного распознавания, алгоритм вычисляет отношение площади руки для выбора трех наиболее вероятных жестов из возможных девяти. Этой простой функции достаточно, чтобы сузить количество возможных жестов до трех, из которых окончательный жест определяется с использованием гораздо более сложного и высокоточного извлечения признаков. По словам Чжи Ю, «этап предварительного распознавания жеста не только сокращает количество вычислений и аппаратных ресурсов, но и повышает скорость распознавания без ущерба для точности».

Для разработки устройства ученым понадобилось участие 40 добровольцев, показавших девять жестов несколько раз, и еще 40 добровольцев, чтобы определить точность системы. Результаты показали, что алгоритм может распознавать жесты рук в реальном времени с точностью, превышающей 93%, даже если изображения жестов ввода были повернуты или масштабированы. По словам исследователей, в дальнейшем они собираются работать над улучшением производительности алгоритма в условиях плохого освещения и увеличении количества жестов.

Впервые способ управления компьютером с помощью рук упоминался а научно-фантастическом блокбастере 2002 года «Особое мнение»ю персонаж Тома Круза Джон Андертон с помощью специальных перчаток управляет прозрачным экраном компьютера размером со стену.