Студия для создания 4d-съемки больше не нужна
Ученые из университета Карнеги-Меллон продемонстрировали, что можно комбинировать несколько видео, снятых на разные iPhone с разных сторон, для создания 4d-визуализаций.
Видео, которое получится в результате, позволит зрителям наблюдать за происходящим под разными углами или даже стирать людей и объекты, которые блокируют видимость.
Представьте себе, допустим, свадьбу, где танцоров видно с любого ракурса, а перебравшего гостя, прошедшего неверной походкой на переднем плане, на записи нет.
Видео можно снимать с разных точек обзора независимо друг от друга, как это часто бывает на крупных банкетах или коопоративах, отметил аспирант института робототехники университета Аюш Бансал. Тех, кто в центре внимания, можно снять в одном месте, а после перенести их в другую среду с другими декорациями.
— Мы ограничены только количеством камер, с которых будут вести съемку, сказал Бансал. — Верхнего порога по количеству видеопотоков не существует.
Свой новый метод четырехмерной визуализации Бансал с коллегами представили в ходе виртуальной конференции Computer Vision and Pattern Recognition.
— Виртуальная реальность — это не новшество, но ранее ее можно было формировать только в студии, оснащенной десятками или сотнями камер, встроенными в стены.
Объединить несколько видео, снятых в произвольном месте произвольными камерами, в единую комплексную 3d-сцену было невозможно.
Обойти ограничение Бансалу с коллегами помогли конволюционные нейронные сети — разновидность программы глубинного обучения, которая хорошо зарекомендовала себя в обработке визуальных данных. Ученые выяснили, что эти нейронные сети можно использовать для компоновки различных частей сцены.
Исследователи продемонстрировали возможности метода, снимая на 15 iPhone различные сцены — танцы, демонстрации боевых искусств и фламинго в национальном парке Питтсбурга.
— Почему именно iPhone? Мы хотели показать, что любой человек сможет пользоваться системой, и что теперь студия не имеет границ, она — весь мир, заключил Бансал.
Инновационный метод открывает множество потенциальных применений в киноиндустрии и потребительских устройствах, особенно с учетом того, что популярность гарнитур виртуальной реальности продолжает расти.
Несмотря на то, что метод не всегда фиксирует сцены в полноценном 3d-формате, система может ограничить угол воспроизведения так, чтобы дефектные области не просматривались и иллюзия трехмерного изображения не нарушалась.