IEEE Access: Разработан метод, лучше справляющийся с переводом языка жестов

Языки жестов были созданы в разных местах по всему миру, чтобы соответствовать местному стилю общения, и каждый язык состоит из тысяч знаков. Это делает языки жестов сложными для изучения и понимания.

Использование искусственного интеллекта для автоматического перевода знаков в слова, известное как распознавание языка жестов на уровне слов, теперь стало более точным благодаря работе исследовательской группы под руководством Университета Осака Метрополитен.

Результаты исследования опубликованы в журнале IEEE Access.

Предыдущие методы исследования были направлены на сбор информации об общих движениях жестуна. Проблемы с точностью были связаны с различными значениями, которые могли возникнуть из-за тонких различий в форме рук и взаимосвязи между положением рук и тела.

Доцент Высшей школы информатики Кацуфуми Иноуэ и доцент Масакадзу Ивамура вместе с коллегами, в том числе из Индийского технологического института Рурки, работали над повышением точности распознавания ИИ. К информации об общих движениях верхней части тела жестующего они добавили такие данные, как выражение рук и лица, а также скелетную информацию о положении рук относительно тела.

Мы смогли повысить точность распознавания языка жестов на уровне слов на 10-15% по сравнению с традиционными методами, — заявил профессор Иноуэ.

Кроме того, мы ожидаем, что предложенный нами метод может быть применен к любому языку жестов, что, как мы надеемся, приведет к улучшению коммуникации с людьми с нарушениями речи и слуха в разных странах.

Ранее ученые сообщили, что даже обезьян можно научить понимать жесты.

Иллюстрация: Добавление таких данных, как выражение рук и лица, а также информации о положении рук относительно тела, к информации об общих движениях верхней части тела сурдопереводчика улучшает распознавание слов. Источник: Osaka Metropolitan University.

15.01.2025