Студия для создания 4d-съемки больше не нужна

Ученые из университета Карнеги-Меллон продемонстрировали, что можно комбинировать несколько видео, снятых на разные iPhone с разных сторон, для создания 4d-визуализаций.

Видео, которое получится в результате, позволит зрителям наблюдать за происходящим под разными углами или даже стирать людей и объекты, которые блокируют видимость.

Представьте себе, допустим, свадьбу, где танцоров видно с любого ракурса, а перебравшего гостя, прошедшего неверной походкой на переднем плане, на записи нет.

Видео можно снимать с разных точек обзора независимо друг от друга, как это часто бывает на крупных банкетах или коопоративах, отметил аспирант института робототехники университета Аюш Бансал. Тех, кто в центре внимания, можно снять в одном месте, а после перенести их в другую среду с другими декорациями.

— Мы ограничены только количеством камер, с которых будут вести съемку, сказал Бансал. — Верхнего порога по количеству видеопотоков не существует.

Свой новый метод четырехмерной визуализации Бансал с коллегами представили в ходе виртуальной конференции Computer Vision and Pattern Recognition.

— Виртуальная реальность — это не новшество, но ранее ее можно было формировать только в студии, оснащенной десятками или сотнями камер, встроенными в стены.

Объединить несколько видео, снятых в произвольном месте произвольными камерами, в единую комплексную 3d-сцену было невозможно.

Обойти ограничение Бансалу с коллегами помогли конволюционные нейронные сети — разновидность программы глубинного обучения, которая хорошо зарекомендовала себя в обработке визуальных данных. Ученые выяснили, что эти нейронные сети можно использовать для компоновки различных частей сцены.

Исследователи продемонстрировали возможности метода, снимая на 15 iPhone различные сцены — танцы, демонстрации боевых искусств и фламинго в национальном парке Питтсбурга.

— Почему именно iPhone? Мы хотели показать, что любой человек сможет пользоваться системой, и что теперь студия не имеет границ, она — весь мир, заключил Бансал.

Инновационный метод открывает множество потенциальных применений в киноиндустрии и потребительских устройствах, особенно с учетом того, что популярность гарнитур виртуальной реальности продолжает расти.

Несмотря на то, что метод не всегда фиксирует сцены в полноценном 3d-формате, система может ограничить угол воспроизведения так, чтобы дефектные области не просматривались и иллюзия трехмерного изображения не нарушалась.

02.07.2020

Подписаться: Телеграм | Дзен | Вконтакте


Медиа

Грибы-убийцы: сериал «Одни из нас» рассказывает о реальной угрозе
Грибы-убийцы: сериал «Одни из нас» рассказывает о реальной угрозе

В трейлере сериала HBO грибок кордицепс заража...

PNAS: ИИ помогает находить, но не учит отличать фейковые новости
PNAS: ИИ помогает находить, но не учит отличать фейковые новости

Многие технологические компании и стартап...

Clinical Psychological Science: Предупреждения об опасном контенте не работают
Clinical Psychological Science: Предупреждения об опасном контенте не работают

Сторонники использования триггерных предупрежд...

Cognition: люди лучше запоминают символы, чем их словесные аналоги
Cognition: люди лучше запоминают символы, чем их словесные аналоги

Повседневные символы запоминаются отлично, уве

Исследование: американские сми становятся все более предвзятыми
Исследование: американские сми становятся все более предвзятыми

Согласно результатам исследования 1,8 млн ...

Социальные сети могут и созидать, и разрушать
Социальные сети могут и созидать, и разрушать

Социальные медиа объединяют людей и усили...

Жители московского коливинга создали бренд одежды
Жители московского коливинга создали бренд одежды

В коливинге проекта Colife жители создали свой...

Неймерам на заметку: на Западе рулят женственные бренды
Неймерам на заметку: на Западе рулят женственные бренды

Ученые из университета Калгари, университ...

Каталоги с дополненной реальностью как маркетинговая стратегия будущего
Каталоги с дополненной реальностью как маркетинговая стратегия будущего

Рекламная полиграфия способна привлекать покуп...

Студия для создания 4d-съемки больше не нужна
Студия для создания 4d-съемки больше не нужна

Ученые из университета Карнеги-Меллон про...

Фактчекинг не вернет доверие к сми
Фактчекинг не вернет доверие к сми

Журналисты могут вернуть доверие к профес...

Ученые выяснили, у кого есть шансы выжить в Игре престолов
Ученые выяснили, у кого есть шансы выжить в Игре престолов

Персонажи Игры престолов с большей вероят...

Выяснилось, как полиграфия увеличивает продажи
Выяснилось, как полиграфия увеличивает продажи

В последнее время рекламная полиграфия стремит

Поиск на сайте

ТОП - Новости мира, инновации

Не все «зомби-клетки» одинаково опасны: ученые нашли способ их сортировать
Не все «зомби-клетки» одинаково опасны: ученые нашли способ их сортировать
Не еда, а биология: вот почему с годами жир копится именно на животе
Не еда, а биология: вот почему с годами жир копится именно на животе
Маленькие, да удаленькие: технологии только выигрывают от уменьшения
Маленькие, да удаленькие: технологии только выигрывают от уменьшения
Лекарства без брака: науке пора перестать мешать компоненты в блендере
Лекарства без брака: науке пора перестать мешать компоненты в блендере
Найден способ перезаписывать данные без электричества
Найден способ перезаписывать данные без электричества
Кто пожалеет обезьяну: неожиданная правда о шимпанзе и бонобо
Кто пожалеет обезьяну: неожиданная правда о шимпанзе и бонобо
ИИ помогает точнее выявлять насилие над детьми в больницах
ИИ помогает точнее выявлять насилие над детьми в больницах
Как люди пережили ледниковый период в Казахстане
Как люди пережили ледниковый период в Казахстане
Как пуповинная кровь помогает предсказать болезни ребенка
Как пуповинная кровь помогает предсказать болезни ребенка
Запутанность без шума: ученые нашли способ очистить квантовую связь
Запутанность без шума: ученые нашли способ очистить квантовую связь
Социальное обучение без розовых очков: как мы перенимаем чужой опыт
Социальное обучение без розовых очков: как мы перенимаем чужой опыт
Сладкая жизнь стволовых клеток: галактоза стала эликсиром молодости
Сладкая жизнь стволовых клеток: галактоза стала эликсиром молодости
Антибиотики в раннем детстве приводят к лишнему весу
Антибиотики в раннем детстве приводят к лишнему весу
Ученые выяснили, как малярия провоцирует рак у детей
Ученые выяснили, как малярия провоцирует рак у детей
Ученые нашли причину Альцгеймера и способ ее блокировать
Ученые нашли причину Альцгеймера и способ ее блокировать

Новости компаний, релизы

Крипта для людей: почему сложные сервисы теряют пользователей
«Точки роста» в действии: как школы Симферопольского района перестали быть скучными
На одной волне: университет и госструктура усиливают IT-суверенитет
Оперировать в VR: студенты придумали симулятор для хирургов
Не успеешь моргнуть — WhisperX уже расшифровал: тест скорости от Ainergy