Los avances en las imágenes generadas por computadora han dado vida a animaciones vívidas y realistas, pero los sonidos asociados con lo que vemos simulados en la pantalla, como el choque de dos objetos, a menudo son grabaciones. Ahora los investigadores de la Universidad de Stanford han desarrollado un sistema que automáticamentereproduce sonidos precisos para una amplia variedad de fenómenos animados.
"Ha habido un Santo Grial en la informática de poder simular la realidad para los humanos. Podemos animar escenas y representarlas visualmente con física y gráficos por computadora, pero, en cuanto a los sonidos, generalmente están inventados", dijo Doug James,profesor de ciencias de la computación en la Universidad de Stanford. "Actualmente no existe una forma de generar sonidos sincronizados realistas para contenido animado complejo, como salpicaduras de agua u objetos que chocan, automáticamente. Esto llena ese vacío".
Los investigadores presentarán su trabajo en este sistema de síntesis de sonido como parte de ACM SIGGRAPH 2018, la conferencia líder sobre gráficos por computadora y técnicas interactivas. Además de animar películas y mundos de realidad virtual, este sistema también podría ayudar a las empresas de ingeniería a crear prototipos de cómo los productossonaría antes de ser producido físicamente, y esperamos alentar diseños que sean más silenciosos y menos irritantes, dijeron los investigadores.
"He pasado años tratando de resolver ecuaciones diferenciales parciales, que rigen cómo se propaga el sonido, a mano", dijo Jui-Hsien Wang, un estudiante graduado en el laboratorio de James y en el Instituto de Ingeniería Computacional y Matemática ICME, y autor principal del artículo: "Este es en realidad un lugar en el que no solo resuelve la ecuación, sino que puede escucharla una vez que la ha hecho. Eso es realmente emocionante para mí y es divertido".
predicción de sonido
Informado por la geometría y el movimiento físico, el sistema calcula las vibraciones de cada objeto y cómo, como un altavoz, esas vibraciones excitan las ondas sonoras. Calcula las ondas de presión emitidas por las superficies que se mueven y vibran rápidamente, pero no reproduce la acústica de la salaEntonces, aunque no recrea los ecos en una gran catedral, puede resolver sonidos detallados de escenarios como un platillo estrellándose, un cuenco al revés girando hasta detenerse, un vaso lleno de agua o un personaje virtual hablando en unmegáfono.
La mayoría de los sonidos asociados con animaciones se basan en clips pregrabados, que requieren un gran esfuerzo manual para sincronizarse con la acción en pantalla. Estos clips también están restringidos a los ruidos que existen; no pueden predecir nada nuevo. Otros sistemas queproduce y predice sonidos tan precisos como los de James y su equipo de trabajo solo en casos especiales, o asume que la geometría no se deforma mucho. También requieren una larga fase de pre-computación para cada objeto separado.
"El nuestro es esencialmente un botón de renderizado con un procesamiento previo mínimo que trata todos los objetos juntos en una simulación de onda acústica", dijo Ante Qu, un estudiante graduado en el laboratorio de James y coautor del artículo.
El sonido simulado que resulta de este método es muy detallado. Tiene en cuenta las ondas de sonido producidas por cada objeto en una animación, pero también predice cómo esas ondas se doblan, rebotan o amortiguan en función de sus interacciones con otros objetos y ondas de sonido enla escena.
Desafíos por delante
En su forma actual, el proceso del grupo tarda un tiempo en crear el producto terminado. Pero, ahora que han demostrado el potencial de esta técnica, pueden centrarse en las optimizaciones de rendimiento, como implementar su método en hardware de GPU paralelo, que debería haceres drásticamente más rápido.
Y, incluso en su estado actual, vale la pena esperar los resultados.
"Los primeros sonidos de agua que generamos con el sistema estaban entre los mejores que habíamos simulado, y el agua es un gran desafío en el sonido generado por computadora", dijo James. "Pensamos que podríamos mejorar un poco, peroes dramáticamente mejor que los enfoques anteriores, incluso desde el primer momento. Fue realmente sorprendente ".
Aunque el trabajo del grupo ha reproducido fielmente los sonidos de varios objetos girando, cayendo y golpeándose entre sí, los objetos e interacciones más complejos, como los tonos reverberantes de un violín Stradivarius, siguen siendo difíciles de modelar de manera realista. Eso, dijo el grupo, tendrá que esperar una solución futura.
Fuente de la historia :
Materiales proporcionado por Universidad de Stanford . Original escrito por Taylor Kubota. Nota: El contenido puede ser editado por estilo y longitud.
Cita esta página :