Ну где же ручки, ну где же ваши ручки: нейросеть научили считывать жесты рук во время работы на компьютере

Ученые разрабатывают новую технологию, которая учитывает жесты рук для выполнения команд на компьютере.

Прототип под названием Typealike работает через обычную веб-камеру ноутбука с закрепленным на корпусе простым зеркалом. Программа распознает руки пользователя на клавиатуре или рядом с ней и предлагает выполнить определенную операцию в зависимости от положения рук.

Например, если пользователь положит рядом с клавиатурой правую руку с большим пальцем вверх, то программа распознает этот жест как сигнал к увеличению громкости. Для выполнения множества операций можно запрограммировать различные жесты и разные их комбинации.

Эта инновация в области взаимодействия человека и компьютера призвана ускорить работу пользователя и снизить потребность в нажатии кнопок или даже в избыточной работе с мышкой и трекпадом.

Все началось с простой идеи о новых способах использования веб-камеры, — отмечает Налин Чхиббер, недавний выпускник школы компьютерных наук университета Ватерлоо.

— Веб-камера сфокусирована на лице пользователя, в то время как больше всего работают руки. Мы и подумали — что, если камера будет считывать жесты рук?

Сначала ученые сконструировали механическое приспособление, которое направляет камеру вниз, к рукам. Затем команда разработала программное обеспечение, способное распознавать жесты рук в разных условиях и для разных пользователей. Для обучения программы Typealike команда использовала методы машинного обучения.

Это нейросеть, поэтому нужно показать алгоритму примеры того, что вы пытаетесь распознать, — сообщил старший научный сотрудник компании Preferred Networks Inc. Фабрис Матулич.

— Жестикуляция у разных людей всегда немного отличается, да и руки разного размера, а потому требуется собрать много данных от разных людей при разных условиях освещения.

Ученые записали базу данных жестов рук десятков добровольцев. А еще те же добровольцы прошли тесты и опросы, чтобы помочь команде понять, как сделать программу максимально функциональной и универсальной.

Мы всегда стремимся создавать простые в применении вещи, — заявил доцент Дэниел Вогель с кафедры информатики университета Ватерлоо.

— Пользователи видят что-то наподобие нашего Typealike и отмечают, что вещь нужная и понятная. Именно этого мы и хотим — сделать интуитивно понятную и простую технологию, но иногда для этого нужно провести много исследований и задействовать сложное программное обеспечение.

Программа Typealike, по словам ученых, может найти дальнейшее применение в виртуальной реальности: благодаря технологии, возможно, пропадет потребность в ручных контроллерах.

Результаты исследования опубликованы в издании ACM Human Computer Interaction.

05.01.2022


Подписаться в Telegram



Net&IT

Крошечную метку на замену RFID сделали еще надежнее
Крошечную метку на замену RFID сделали еще надежнее

Несколько лет назад исследователи Массачу...

Ученые приблизились к более легким и гибким оптоэлектронным устройствам
Ученые приблизились к более легким и гибким оптоэлектронным устройствам

Органические оптоэлектронные устройства, такие...

PNAS Nexus: ИИ пока еще далеко до человеческих способностей мыслить
PNAS Nexus: ИИ пока еще далеко до человеческих способностей мыслить

Атанасиос С. Фокас рассматривает актуальный во...

Nature: ИИ генерирует белки с исключительной прочностью связывания
Nature: ИИ генерирует белки с исключительной прочностью связывания

В новом исследовании, опубликованном 18 декабр...

Nature Computational Science: ИИ может предсказывать события в жизни людей
Nature Computational Science: ИИ может предсказывать события в жизни людей

Искусственный интеллект, разработанный для&nbs...

Nature Electronics: Изменение памяти дает новые вычислительные возможности
Nature Electronics: Изменение памяти дает новые вычислительные возможности

Ученые Рочестерского университета разработали ...

Nature: 2D-материал изменяет форму 3D-электроники для искусственного интеллекта
Nature: 2D-материал изменяет форму 3D-электроники для искусственного интеллекта

Многофункциональные компьютерные чипы эволюцио...

Началась регистрация на конкурс «Битва искусственных интеллектов»
Началась регистрация на конкурс «Битва искусственных интеллектов»

Стартовал отборочный этап Международного техно...

ИИ помогает математикам находить закономерности
ИИ помогает математикам находить закономерности

Применение машинного обучения для поиска ...

Scientific Reports: Борьба с недоверием в Интернете может быть неэффективной
Scientific Reports: Борьба с недоверием в Интернете может быть неэффективной

Новое исследование, проведенное Университетом ...

JRCS: ChatGPT перегружает пользователей выбором
JRCS: ChatGPT перегружает пользователей выбором

За последние несколько лет в области...

Поиск на сайте

Знатоки клуба инноваций


ТОП - Новости мира, инновации

Optica Quantum: Ученые разработали новый метод определения квантовых состояний
Optica Quantum: Ученые разработали новый метод определения квантовых состояний
Новая реалистичная компьютерная модель поможет роботам собирать лунную пыль
Новая реалистичная компьютерная модель поможет роботам собирать лунную пыль
С помощью GPT-4 создали видеоуроки по педиатрии для слабо обеспеченных больниц
С помощью GPT-4 создали видеоуроки по педиатрии для слабо обеспеченных больниц
Телескоп Джеймс Уэбб обнаружил следы нейтронной звезды в легендарной сверхновой
Телескоп Джеймс Уэбб обнаружил следы нейтронной звезды в легендарной сверхновой
Нервная анорексия у мужчин опасна для жизни
Нервная анорексия у мужчин опасна для жизни
Nicotine & Tobacco Research: Запрет сигарет с ментолом помогает бросить курить
Nicotine & Tobacco Research: Запрет сигарет с ментолом помогает бросить курить
Мальротацию кишечника новорожденных помогут распутать лягушачьи икринки
Мальротацию кишечника новорожденных помогут распутать лягушачьи икринки
Новое исследование роли дофамина поможет лечить болезнь Паркинсона
Новое исследование роли дофамина поможет лечить болезнь Паркинсона
Nature Comm: Младенцев с синдромом Дауна в древности почитали как особенных
Nature Comm: Младенцев с синдромом Дауна в древности почитали как особенных
Крошечную метку на замену RFID сделали еще надежнее
Крошечную метку на замену RFID сделали еще надежнее
Освоение космоса: остановить нельзя развивать
Освоение космоса: остановить нельзя развивать
Гигантские антарктические морские пауки удивили всех отношением к потомству
Гигантские антарктические морские пауки удивили всех отношением к потомству
Геномы бабочек и мотыльков практически не изменились за 250 млн лет эволюции
Геномы бабочек и мотыльков практически не изменились за 250 млн лет эволюции
Ученые намерены глубже понять жизнь на Земле благодаря имиджеомике
Ученые намерены глубже понять жизнь на Земле благодаря имиджеомике
Как выглядит работающий рекламный баннер
Как выглядит работающий рекламный баннер

Новости компаний, релизы

НАИРИТ объявит итоги Всероссийского инновационного конкурса 21 февраля
НАИРИТ объявит итоги Всероссийского инновационного конкурса 21 февраля
«Инструменты инновационного развития»
«Инструменты инновационного развития»
3 причины перехода с печатной рекламы на цифровую
3 причины перехода с печатной рекламы на цифровую
Виды резервирования серверов для задач АСУ ТП
Виды резервирования серверов для задач АСУ ТП
Выбор клиники и лечащего врача с помощью специализированного сервиса
Выбор клиники и лечащего врача с помощью специализированного сервиса