Исследователи из Университета Карнеги-Меллона продемонстрировали, что они могут комбинировать видео с iPhone, снятые «в дикой природе» отдельными камерами, для создания 4-D визуализаций, которые позволяют зрителям наблюдать за действиями под разными углами или даже стирать людей или объекты, которые временно блокируют линии обзора.
Представьте себе визуализацию свадебного приёма, где танцоров можно увидеть с такого же ракурса, как и с камерами, а пьяного гостя, который шел перед свадьбой, нигде не видно.
Видеофильмы можно снимать независимо от различных точек зрения, как это может произойти на свадьбе или праздновании дня рождения, сказал доктор философии Аюш Бансал. Он также добавил, что можно записывать актеров в одной обстановке, а затем вставлять их в другую.
«Мы ограничены только количеством камер», — сказал Бансал, не ограничивая количество используемых видеопотоков.
Бансал и его коллеги представили свой метод 4-D визуализации на виртуальной конференции Computer Vision и Pattern Recognition в прошлом месяце.
«Виртуализированная реальность» не является чем-то новым, но в прошлом она была ограничена студийными установками, такими как Panoptic Studio CMU, которая может похвастаться более чем 500 видеокамерами, встроенными в геодезические стены. Объединение визуальной информации о реальных сценах, снятых с нескольких независимых портативных камер, в единую комплексную модель, которая может реконструировать динамическую трехмерную сцену, просто невозможно.
Бансал и его коллеги обошли это ограничение, используя сверхточные нейронные сети (CNN), тип программы глубокого обучения, которая доказала свою способность анализировать визуальные данные. Они обнаружили, что специфичные для сцены CNN могут использоваться для составления разных частей сцены.
Исследователи из КМУ продемонстрировали свой метод, используя до 15 айфонов для съемки различных сцен — танцев, демонстраций боевых искусств и даже фламинго в Национальном вольере в Питтсбурге.
«Смысл использования iPhone в том, чтобы показать, что любой может использовать эту систему», — сказал Бансал. «Мир — это наша студия».
Этот метод также открывает множество потенциальных приложений в киноиндустрии и на потребительских устройствах, особенно с ростом популярности гарнитур виртуальной реальности.
