Normalmente, se necesita un equipo costoso y experiencia para crear una reconstrucción 3D precisa de la cara de alguien que sea realista y no parezca espeluznante. Ahora, los investigadores de la Universidad Carnegie Mellon han logrado la hazaña usando un video grabado en un teléfono inteligente común.
El uso de un teléfono inteligente para grabar un video continuo del frente y los lados de la cara genera una densa nube de datos. Un proceso de dos pasos desarrollado por el Robotics Institute de CMU usa esos datos, con la ayuda de algoritmos de aprendizaje profundo, para construir unReconstrucción digital de la cara. Los experimentos del equipo muestran que su método puede lograr una precisión submilimétrica, superando a otros procesos basados en la cámara.
Una cara digital podría usarse para construir un avatar para juegos o para realidad virtual o aumentada, y también podría usarse en animación, identificación biométrica e incluso procedimientos médicos. Una representación 3D precisa de la cara también podría ser útil en la construcción personalizadamascarillas quirúrgicas o respiradores.
"Construir una reconstrucción 3D de la cara ha sido un problema abierto en la visión por computadora y los gráficos porque las personas son muy sensibles al aspecto de las características faciales", dijo Simon Lucey, profesor asociado de investigación en el Instituto de Robótica. "Incluso anomalías levesen las reconstrucciones puede hacer que el resultado final parezca poco realista "
Los escáneres láser, la luz estructurada y las configuraciones de estudio multicámara pueden producir escaneos de la cara muy precisos, pero estos sensores especializados son prohibitivamente costosos para la mayoría de las aplicaciones. Sin embargo, el método recientemente desarrollado de CMU requiere solo un teléfono inteligente.
El método, que Lucey desarrolló con los estudiantes de maestría Shubham Agrawal y Anuj Pahuja, se presentó a principios de marzo en la IEEE Winter Conference on Applications of Computer Vision WACV en Snowmass, Colorado. Comienza con la grabación de 15-20 segundos de videoEn este caso, los investigadores usaron un iPhone X en la configuración de cámara lenta.
"La alta velocidad de fotogramas de la cámara lenta es una de las cosas clave para nuestro método porque genera una nube de puntos densa", dijo Lucey.
Los investigadores luego emplean una técnica de uso común llamada localización y mapeo visual simultáneo SLAM. Visual SLAM triangula puntos en una superficie para calcular su forma, mientras que al mismo tiempo usa esa información para determinar la posición de la cámara. Esto creauna geometría inicial de la cara, pero los datos faltantes dejan huecos en el modelo.
En el segundo paso de este proceso, los investigadores trabajan para llenar esos vacíos, primero mediante el uso de algoritmos de aprendizaje profundo. Sin embargo, el aprendizaje profundo se usa de manera limitada: identifica el perfil de la persona y los puntos de referencia, tales como oídos, ojos ynariz. Las técnicas clásicas de visión por computadora se utilizan para llenar los huecos.
"El aprendizaje profundo es una herramienta poderosa que usamos todos los días", dijo Lucey. "Pero el aprendizaje profundo tiene una tendencia a memorizar soluciones", lo que va en contra de los esfuerzos para incluir detalles distintivos de la cara ". Si usa estos algoritmos solopara encontrar los puntos de referencia, puede usar métodos clásicos para llenar los vacíos mucho más fácilmente ".
El método no es necesariamente rápido; tomó 30-40 minutos de tiempo de procesamiento. Pero todo el proceso se puede realizar en un teléfono inteligente.
Además de las reconstrucciones faciales, los métodos del equipo de CMU también podrían emplearse para capturar la geometría de casi cualquier objeto, dijo Lucey. Las reconstrucciones digitales de esos objetos pueden incorporarse en animaciones o tal vez transmitirse a través de Internet a sitios donde los objetospodría duplicarse con impresoras 3D.
Fuente de la historia :
Materiales proporcionado por Universidad Carnegie Mellon . Nota: El contenido puede ser editado por estilo y longitud.
Cita esta página :