Los investigadores de la Universidad Carnegie Mellon han demostrado que pueden combinar videos de iPhone filmados "en la naturaleza" con cámaras separadas para crear visualizaciones 4D que permiten a los espectadores ver la acción desde varios ángulos, o incluso borrar personas u objetos que bloquean temporalmente las líneas de visión.
Imagine una visualización de una recepción de boda, donde se puede ver a los bailarines desde tantos ángulos como si hubiera cámaras, y no se ve al invitado borracho que caminaba frente a la fiesta nupcial.
Los videos se pueden grabar independientemente de una variedad de puntos estratégicos, como podría ocurrir en una boda o celebración de cumpleaños, dijo Aayush Bansal, un estudiante de doctorado en el Instituto de Robótica de CMU. También es posible grabar actores en un entorno yluego insértelos en otro, agregó.
"Solo estamos limitados por la cantidad de cámaras", dijo Bansal, sin límite superior en la cantidad de videos que se pueden usar.
Bansal y sus colegas presentaron su método de visualización 4D en la conferencia virtual de Computer Vision y Pattern Recognition el mes pasado.
"Realidad virtualizada" no es nada nuevo, pero en el pasado se ha restringido a configuraciones de estudio, como Panoptic Studio de CMU, que cuenta con más de 500 cámaras de video incrustadas en sus paredes geodésicas. Fusionando información visual de escenas tomadas en el mundo realdesde múltiples cámaras de mano independientes en un solo modelo integral que puede reconstruir una escena 3D dinámica simplemente no ha sido posible.
Bansal y sus colegas trabajaron en torno a esa limitación mediante el uso de redes neuronales convolucionales CNN, un tipo de programa de aprendizaje profundo que ha demostrado ser experto en el análisis de datos visuales. Descubrieron que las CNN específicas de la escena podrían usarse para componer diferentes partes de la red.escena.
Los investigadores de CMU demostraron su método utilizando hasta 15 iPhones para capturar una variedad de escenas: bailes, demostraciones de artes marciales e incluso flamencos en el Aviario Nacional en Pittsburgh.
"El objetivo de usar iPhones era demostrar que cualquiera puede usar este sistema", dijo Bansal. "El mundo es nuestro estudio".
El método también desbloquea una gran cantidad de aplicaciones potenciales en la industria del cine y dispositivos de consumo, particularmente a medida que la popularidad de los auriculares de realidad virtual continúa creciendo.
Aunque el método no captura necesariamente escenas con todo detalle en 3D, el sistema puede limitar los ángulos de reproducción para que las áreas reconstruidas de forma incompleta no sean visibles y la ilusión de las imágenes en 3D no se rompa.
Video: http://www.youtube.com/watch?v=quovnDPwL1k&feature=youtu.be
Fuente de la historia :
Materiales proporcionado por Universidad Carnegie Mellon . Original escrito por Byron Spice. Nota: El contenido puede ser editado por estilo y longitud.
Nueva investigación de la luz más antigua confirma la edad del universo
Las primeras imágenes del Orbitador Solar revelan 'fogatas' en el sol
Los científicos proponen un plan para determinar si el Planeta Nueve es un agujero negro primordial
Platón tenía razón: la Tierra está hecha, en promedio, de cubos
Nuevo modelo conecta la física de gotitas respiratorias con la propagación de Covid-19
Los científicos descubren que los volcanes en Venus todavía están activos