Система называется MobilePoser. Она использует датчики, которые уже есть в мобильных устройствах: смартфонах, умных часах и беспроводных наушниках. Благодаря данным датчиков, машинному обучению и физике, система MobilePoser точно отслеживает позу человека и его перемещение в пространстве в реальном времени.

MobilePoser — это технология, которая работает в реальном времени на мобильных устройствах. Благодаря машинному обучению и оптимизации на основе физики она обеспечивает высокую точность. Каран Ахуджа из Северо-Западного университета, который возглавлял исследование, считает, что эта технология открывает новые возможности в играх, фитнесе и навигации в помещении. Она позволяет отказаться от специализированного оборудования.

По мнению Карана Ахуджи, это значительный шаг вперёд в области мобильного захвата движений. Технология делает захватывающие ощущения более доступными и открывает путь для новых приложений в разных отраслях.

Команда Ахуджи представляет MobilePoser 15 октября на симпозиуме ACM в Питтсбурге.

MobilePoser представлен в рамках сессии «Позы как ввод». Это технология, которая оценивает позу всего тела в реальном времени и переводит человека в 3D с помощью IMU в мобильных устройствах.

Ограничения существующих систем

Многие киноманы знают о технологии захвата движений, которую часто показывают в закулисье. Чтобы создать CGI-персонажей, таких как Голлум из «Властелина колец» или На'ви из „Аватара“, актёры надевают специальные костюмы с датчиками и ходят по специальным комнатам. Компьютер считывает данные с датчиков и воспроизводит движения и мимику актёра.

Ахуджа говорит, что это золотой стандарт захвата движений, но такая установка стоит около 100 000 долларов. Поэтому они хотели разработать более доступную версию, которая будет работать на уже существующем оборудовании.

Другие системы распознавания движений, такие как Microsoft Kinect, используют стационарные камеры для отслеживания движений тела. Они хорошо работают, когда человек находится в поле зрения камеры, но не подходят для мобильных приложений.

Предсказание поз

Чтобы преодолеть ограничения, команда Ахуджи использовала инерциальные измерительные блоки (IMU). Это система датчиков — акселерометров, гироскопов и магнитометров. Они измеряют движение и ориентацию тела.

Подобные датчики есть в смартфонах, но их точность не позволяет точно фиксировать движения. Команда Ахуджи повысила производительность датчиков с помощью многоступенчатого алгоритма искусственного интеллекта (ИИ). Его обучили на большом наборе данных измерений IMU, полученных из высококачественных данных захвата движений.

MobilePoser получает данные об ускорении и ориентации тела с помощью датчиков. Затем он передаёт эти данные алгоритму искусственного интеллекта, который оценивает положение и вращение суставов, скорость и направление ходьбы, а также контакт ног пользователя с землёй.

Оптимизатор на основе физики уточняет прогнозируемые движения, чтобы они соответствовали реальным движениям тела. Например, оптимизатор не позволяет суставам сгибаться назад, а голове — вращаться на 360 градусов.

Погрешность отслеживания составляет всего 8-10 сантиметров. Для сравнения, у Microsoft Kinect ошибка отслеживания — 4-5 сантиметров, если пользователь остаётся в поле зрения камеры.

С MobilePoser можно свободно перемещаться. Точность выше, когда на человеке надето несколько устройств, например, смарт-часы на запястье и смартфон в кармане, говорит Ахуджа. Но главная особенность системы в том, что она адаптивна: даже если у вас не будет часов, а будет только телефон, система сможет определить положение всего тела.

Потенциальные варианты использования

MobilePoser — новое приложение, которое может быть полезно не только геймерам, но и людям, заботящимся о здоровье и физической форме.

Оно позволяет:

• видеть свою осанку во время занятий спортом;
• анализировать подвижность, уровень активности и походку пациентов (может быть полезно для врачей);
• использовать технологию для навигации в помещениях (слабое место GPS, работающего только на открытом воздухе).

Ахуджа говорит, что сейчас врачи отслеживают подвижность пациентов с помощью счётчика шагов. Это печально, ведь наши телефоны знают о внешнем мире больше, чем о нашем собственном теле.

Ученый хочет сделать телефоны активными помощниками, способными распознавать различные виды деятельности и определять позы. Чтобы другие исследователи могли развивать эту работу, команда Ахуджи выпустила предварительно обученные модели, скрипты предварительной обработки данных и код обучения моделей в виде программного обеспечения с открытым исходным кодом. Скоро приложение будет доступно для iPhone, AirPods и Apple Watch.