Los investigadores han desarrollado un sistema que utiliza inteligencia artificial que puede editar las expresiones faciales de los actores para que coincidan con las voces dobladas, ahorrando tiempo y reduciendo los costos para la industria del cine. También se puede utilizar para corregir la mirada y la postura de la cabeza en videoconferencias, ypermite nuevas posibilidades para la postproducción de video y efectos visuales.
La técnica fue desarrollada por un equipo internacional dirigido por un grupo del Instituto Max Planck de Informática e incluidos investigadores de la Universidad de Bath, Technicolor, TU Munich y la Universidad de Stanford. El trabajo, llamado Deep Video Portraits, se presentó paraprimera vez en la conferencia SIGGRAPH 2018 en Vancouver el 16 de agosto.
A diferencia de los métodos anteriores que se centran solo en los movimientos del interior de la cara, los Retratos de video profundos también pueden animar toda la cara, incluidos los ojos, las cejas y la posición de la cabeza en los videos, utilizando controles conocidos de la animación de la cara de gráficos por computadora. Incluso puede sintetizar unfondo de video estático plausible si la cabeza se mueve.
Hyeongwoo Kim, del Instituto Max Planck de Informática, explica: "Funciona mediante el uso de la captura de rendimiento facial 3D basada en modelos para registrar los movimientos detallados de las cejas, la boca, la nariz y la posición de la cabeza del actor de doblaje en un video.luego transpone estos movimientos al actor 'objetivo' en la película para sincronizar con precisión los labios y los movimientos faciales con el nuevo audio ".
La investigación se encuentra actualmente en la etapa de prueba de concepto y aún no funciona en tiempo real, sin embargo, los investigadores anticipan que el enfoque podría marcar una diferencia real en la industria del entretenimiento visual.
El profesor Christian Theobalt, del Instituto Max Planck de Informática, dijo: "A pesar de la extensa manipulación de la postproducción, el doblaje de películas a idiomas extranjeros siempre presenta un desajuste entre el actor en pantalla y la voz doblada".
"Nuestro nuevo enfoque de Deep Video Portrait nos permite modificar la apariencia de un actor objetivo al transferir la pose de la cabeza, las expresiones faciales y el movimiento de los ojos con un alto nivel de realismo".
El coautor del artículo, Dr. Christian Richardt, del centro de investigación de captura de movimiento CAMERA de la Universidad de Bath, agrega: "Esta técnica también podría usarse para la postproducción en la industria del cine, donde la edición de gráficos por computadora de caras ya es muy ampliautilizado en las películas de hoy ".
Un gran ejemplo es 'El curioso caso de Benjamin Button', donde la cara de Brad Pitt fue reemplazada por una versión modificada de gráficos por computadora en casi todos los fotogramas de la película. Este trabajo sigue siendo un proceso que lleva mucho tiempo, a menudo requiere muchas semanasde trabajo de artistas entrenados.
"Deep Video Portraits muestra cómo se podría crear tal efecto visual con menos esfuerzo en el futuro. Con nuestro enfoque, incluso el posicionamiento de la cabeza de un actor y su expresión facial podrían editarse fácilmente para cambiar los ángulos de la cámara o cambiar sutilmente el encuadre deuna escena para contar mejor la historia "
Además, este nuevo enfoque también se puede usar en otras aplicaciones, que los autores muestran en el sitio web de su proyecto, por ejemplo, en video y teleconferencia de realidad virtual, donde se puede usar para corregir la mirada y la postura de la cabeza de manera que una conversación más naturalel software permite muchas aplicaciones creativas nuevas en la producción de medios visuales, pero los autores también son conscientes del potencial uso indebido de la tecnología moderna de edición de video.
El Dr. Michael Zollhöfer, de la Universidad de Stanford, explica: "La industria de los medios ha estado retocando fotos con software de edición de fotos durante muchos años, lo que significa que la mayoría de nosotros hemos aprendido a tomar lo que vemos en las fotos con una pizca de sal. ConSiempre mejorando la tecnología de edición de video, también debemos comenzar a ser más críticos sobre el contenido de video que consumimos todos los días, especialmente si no hay prueba de origen. Creemos que el campo de la ciencia forense digital debería y recibirá mucha más atención en el futurodesarrollar enfoques que puedan probar automáticamente la autenticidad de un videoclip. Esto conducirá a enfoques aún mejores que pueden detectar tales modificaciones incluso si los humanos no pudiéramos detectarlas con nuestros propios ojos ".
Para abordar esto, el equipo de investigación está utilizando la misma tecnología para desarrollar redes neuronales en tándem capacitadas para detectar videos generados o editados sintéticamente con alta precisión para que sea más fácil detectar falsificaciones. Los autores no tienen planes de hacer que el software esté disponible públicamentepero indique que cualquier software que implemente los muchos casos de uso creativo debe incluir esquemas de marca de agua para marcar claramente las modificaciones.
Fuente de la historia :
Materiales proporcionado por Universidad de Bath . Nota: El contenido puede ser editado por estilo y longitud.
Cite esta página :