Ну где же ручки, ну где же ваши ручки: нейросеть научили считывать жесты рук во время работы на компьютере

Ученые разрабатывают новую технологию, которая учитывает жесты рук для выполнения команд на компьютере.

Прототип под названием Typealike работает через обычную веб-камеру ноутбука с закрепленным на корпусе простым зеркалом. Программа распознает руки пользователя на клавиатуре или рядом с ней и предлагает выполнить определенную операцию в зависимости от положения рук.

Например, если пользователь положит рядом с клавиатурой правую руку с большим пальцем вверх, то программа распознает этот жест как сигнал к увеличению громкости. Для выполнения множества операций можно запрограммировать различные жесты и разные их комбинации.

Эта инновация в области взаимодействия человека и компьютера призвана ускорить работу пользователя и снизить потребность в нажатии кнопок или даже в избыточной работе с мышкой и трекпадом.

Все началось с простой идеи о новых способах использования веб-камеры, — отмечает Налин Чхиббер, недавний выпускник школы компьютерных наук университета Ватерлоо.

— Веб-камера сфокусирована на лице пользователя, в то время как больше всего работают руки. Мы и подумали — что, если камера будет считывать жесты рук?

Сначала ученые сконструировали механическое приспособление, которое направляет камеру вниз, к рукам. Затем команда разработала программное обеспечение, способное распознавать жесты рук в разных условиях и для разных пользователей. Для обучения программы Typealike команда использовала методы машинного обучения.

Это нейросеть, поэтому нужно показать алгоритму примеры того, что вы пытаетесь распознать, — сообщил старший научный сотрудник компании Preferred Networks Inc. Фабрис Матулич.

— Жестикуляция у разных людей всегда немного отличается, да и руки разного размера, а потому требуется собрать много данных от разных людей при разных условиях освещения.

Ученые записали базу данных жестов рук десятков добровольцев. А еще те же добровольцы прошли тесты и опросы, чтобы помочь команде понять, как сделать программу максимально функциональной и универсальной.

Мы всегда стремимся создавать простые в применении вещи, — заявил доцент Дэниел Вогель с кафедры информатики университета Ватерлоо.

— Пользователи видят что-то наподобие нашего Typealike и отмечают, что вещь нужная и понятная. Именно этого мы и хотим — сделать интуитивно понятную и простую технологию, но иногда для этого нужно провести много исследований и задействовать сложное программное обеспечение.

Программа Typealike, по словам ученых, может найти дальнейшее применение в виртуальной реальности: благодаря технологии, возможно, пропадет потребность в ручных контроллерах.

Результаты исследования опубликованы в издании ACM Human Computer Interaction.

05.01.2022