Инженеры Северо-Западного университета создали новую систему захвата движений всего тела. Для этого не нужны специальные помещения, дорогое оборудование или множество датчиков. Достаточно простого мобильного устройства. Система называется MobilePoser. Она использует датчики, которые уже есть в мобильных устройствах: смартфонах, умных часах и беспроводных наушниках. Благодаря данным датчиков, машинному обучению и физике, система MobilePoser точно отслеживает позу человека и его перемещение в пространстве в реальном времени. MobilePoser — это технология, которая работает в реальном времени на мобильных устройствах. Благодаря машинному обучению и оптимизации на основе физики она обеспечивает высокую точность. Каран Ахуджа из Северо-Западного университета, который возглавлял исследование, считает, что эта технология открывает новые возможности в играх, фитнесе и навигации в помещении. Она позволяет отказаться от специализированного оборудования.
Команда Ахуджи представляет MobilePoser 15 октября на симпозиуме ACM в Питтсбурге. MobilePoser представлен в рамках сессии «Позы как ввод». Это технология, которая оценивает позу всего тела в реальном времени и переводит человека в 3D с помощью IMU в мобильных устройствах. Ограничения существующих системМногие киноманы знают о технологии захвата движений, которую часто показывают в закулисье. Чтобы создать CGI-персонажей, таких как Голлум из «Властелина колец» или На'ви из „Аватара“, актёры надевают специальные костюмы с датчиками и ходят по специальным комнатам. Компьютер считывает данные с датчиков и воспроизводит движения и мимику актёра.
Другие системы распознавания движений, такие как Microsoft Kinect, используют стационарные камеры для отслеживания движений тела. Они хорошо работают, когда человек находится в поле зрения камеры, но не подходят для мобильных приложений. Предсказание позЧтобы преодолеть ограничения, команда Ахуджи использовала инерциальные измерительные блоки (IMU). Это система датчиков — акселерометров, гироскопов и магнитометров. Они измеряют движение и ориентацию тела. Подобные датчики есть в смартфонах, но их точность не позволяет точно фиксировать движения. Команда Ахуджи повысила производительность датчиков с помощью многоступенчатого алгоритма искусственного интеллекта (ИИ). Его обучили на большом наборе данных измерений IMU, полученных из высококачественных данных захвата движений. MobilePoser получает данные об ускорении и ориентации тела с помощью датчиков. Затем он передаёт эти данные алгоритму искусственного интеллекта, который оценивает положение и вращение суставов, скорость и направление ходьбы, а также контакт ног пользователя с землёй. Оптимизатор на основе физики уточняет прогнозируемые движения, чтобы они соответствовали реальным движениям тела. Например, оптимизатор не позволяет суставам сгибаться назад, а голове — вращаться на 360 градусов. Погрешность отслеживания составляет всего 8-10 сантиметров. Для сравнения, у Microsoft Kinect ошибка отслеживания — 4-5 сантиметров, если пользователь остаётся в поле зрения камеры. С MobilePoser можно свободно перемещаться. Точность выше, когда на человеке надето несколько устройств, например, смарт-часы на запястье и смартфон в кармане, говорит Ахуджа. Но главная особенность системы в том, что она адаптивна: даже если у вас не будет часов, а будет только телефон, система сможет определить положение всего тела. Потенциальные варианты использованияMobilePoser — новое приложение, которое может быть полезно не только геймерам, но и людям, заботящимся о здоровье и физической форме. Оно позволяет:
Ахуджа говорит, что сейчас врачи отслеживают подвижность пациентов с помощью счётчика шагов. Это печально, ведь наши телефоны знают о внешнем мире больше, чем о нашем собственном теле. Ученый хочет сделать телефоны активными помощниками, способными распознавать различные виды деятельности и определять позы. Чтобы другие исследователи могли развивать эту работу, команда Ахуджи выпустила предварительно обученные модели, скрипты предварительной обработки данных и код обучения моделей в виде программного обеспечения с открытым исходным кодом. Скоро приложение будет доступно для iPhone, AirPods и Apple Watch. 15.10.2024 |
Net&IT
JCM: ИИ быстрее человека определяет устойчивость бактерий к антибиотикам | |
Искусственный интеллект для поиска бактер... |
HB&ET: Пожилые чаще молодых относятся к ИИ как к кому-то живому | |
В исследовании Имперского колледжа Лондона люд... |
В России создана нейросеть для оценки отторжения пересаженной почки | |
ИИ-модель, которая с помощью компьютерног... |
UIST: Приложение для смартфона делает захват движений тела в реальном времени | |
Инженеры Северо-Западного университета создали... |
PNAS Nexus: Разработана система мониторинга усталости рабочих на производстве | |
Новая разработка, система датчиков и маши... |
В СПбГУ с помощью ИИ создали систему распознавания нейротропных препаратов | |
Новую систему для скрининга нейротропных ... |
NatPhys: Поиск ошибок в процессоре поможет создать надежный квантовый компьютер | |
Чтобы достичь выдающихся результатов, квантовы... |
Новые ИИ-модели нагрева плазмы исправляют вычисления термоядерных исследований | |
Новые модели искусственного интеллекта для&nbs... |
ACMTAC: Новые приложения позволят слепым людям ориентироваться в помещениях | |
Два новых приложения помогут слепым людям орие... |
Nature Communications: Ученые придумали способ ускорить разработку лекарств | |
Способ улучшить квантовые компьютеры для ... |
PRR: Новые оптические устройства смогут преодолеть ограничения хранения данных | |
Поскольку наш цифровой мир создаёт о... |
В МФТИ создали ПО для нефтяников и золотодобытчиков | |
Сотрудники МФТИ предложили цифровое решение, к... |
В КФУ создали программу для определения свойств многокомпонентных материалов | |
Учёные вуза с помощью ИИ разработали... |
В России создали систему коррекции волнового фронта для квантовой связи | |
Ученые МТУСИ и ИДГ РАН разработ... |
MIT: Новый протокол безопасности защищает данные в облаке от злоумышленников | |
Модели глубокого обучения используются в ... |
Эксперт объяснил, как ИИ меняет творческий процесс в индустрии моды | |
Александр Бутаков, продюсер и специалист ... |
Студенты КНИТУ создали двуязычного ИИ-бота для туристов | |
Студенты КНИТУ создали туристического бота с&n... |
NatComm: С помощью ИИ найдено лучшее решение для хранения энергии | |
Найти иголку в стоге сена — пр... |
ACS Photonics: Разработаны улучшенные очки дополненной реальности | |
Дополненная реальность накладывает цифровые из... |
Journal of Consumer Affairs: Трекеры активности могут сформировать зависимость | |
Технологии для профилактики здоровья, так... |
Испытание лекарств на кардиотоксичность с помощью нейросетей предложили в МФТИ | |
Новый метод позволяет обнаружить потенциально ... |
В МТУСИ разработали метод машинного обучения для обнаружения фишинговых сайтов | |
Информационная безопасность веб-приложений&nbs... |
В МФТИ разрабатывают приложение для планирования рабочего времени репетиторов | |
Студентка кафедры технологии будущего МФТИ Тат... |
FCS: Квантовые компьютеры ускоряют решение задач с матроидами | |
Квантовые компьютеры работают быстрее классиче... |
GATech: Расширения для браузеров ставят под угрозу данные пользователей | |
Расширения для браузеров пользуются огром... |
Rice: Полидактилия и другие странности анатомии от ИИ останутся в прошлом | |
Генеративный искусственный интеллект часто оши... |
IEEE TSP: Низкоорбитальные спутники можно сделать высокопроизводительными | |
Спутники на низкой орбите смогут обеспечи... |
Выпускница ЛЭТИ разработала ПО для подбора сотрудников в соцсетях | |
Приложение на основе нейросети поможет из... |
FBINF: Искать триггеры рака стало проще — на помощь пришел компьютерный алгоритм | |
Компьютерный алгоритм помогает находить генети... |
Разработан метод улучшения изображения, полученного при низкой освещенности | |
С развитием интеллектуальной эры все ... |