Cualquiera que haya estado en un concierto sabe que sucede algo mágico entre los intérpretes y sus instrumentos. Transforma la música de ser solo "notas en una página" en una experiencia satisfactoria.
Un equipo de la Universidad de Washington se preguntó si la inteligencia artificial podría recrear ese deleite utilizando solo señales visuales: un video silencioso y de arriba hacia abajo de alguien tocando el piano. Los investigadores utilizaron el aprendizaje automático para crear un sistema, llamado Audeo, que crea audiode interpretaciones silenciosas de piano. Cuando el grupo probó la música que Audeo creó con aplicaciones de reconocimiento de música, como SoundHound, las aplicaciones identificaron correctamente la pieza que Audeo reproducía aproximadamente el 86% del tiempo. A modo de comparación, estas aplicaciones identificaron la pieza en las pistas de audiode los videos originales el 93% del tiempo.
Los investigadores presentaron Audeo el 8 de diciembre en la conferencia NeurIPS 2020.
"Anteriormente se creía que era imposible crear música que suene como si se pudiera tocar en una interpretación musical", dijo el autor principal Eli Shlizerman, profesor asistente en los departamentos de matemáticas aplicadas y de ingeniería eléctrica e informática. Un algoritmonecesita descubrir las señales o 'características' en los fotogramas de video que están relacionados con la generación de música, y necesita 'imaginar' el sonido que está sucediendo entre los fotogramas de video. Requiere un sistema que sea preciso e imaginativo. El hecho de que logramos una música que sonaba bastante bien fue una sorpresa ".
Audeo usa una serie de pasos para decodificar lo que está sucediendo en el video y luego traducirlo a música. Primero, tiene que detectar qué teclas se presionan en cada cuadro de video para crear un diagrama a lo largo del tiempo. Luego, necesita traducir ese diagramaen algo que un sintetizador de música reconocería como un sonido que haría un piano. Este segundo paso limpia los datos y agrega más información, como con qué fuerza se presiona cada tecla y durante cuánto tiempo.
"Si intentamos sintetizar música solo desde el primer paso, encontraremos que la calidad de la música no es satisfactoria", dijo Shlizerman. "El segundo paso es como la forma en que un maestro repasa la música de un estudiante de compositor y ayuda a mejorarla. "
Los investigadores capacitaron y probaron el sistema utilizando videos de YouTube del pianista Paul Barton. La capacitación consistió en aproximadamente 172,000 cuadros de video de Barton tocando música de compositores clásicos reconocidos, como Bach y Mozart. Luego, probaron Audeo con casi 19,000fotogramas de Barton tocando música diferente de estos compositores y otros, como Scott Joplin.
Una vez que Audeo ha generado una transcripción de la música, es hora de dársela a un sintetizador que pueda traducirla en sonido. Cada sintetizador hará que la música suene un poco diferente; esto es similar a cambiar la configuración del "instrumento" enun teclado eléctrico. Para este estudio, los investigadores utilizaron dos sintetizadores diferentes.
"Fluidsynth produce sonidos de piano de sintetizador con los que estamos familiarizados. Estos son algo mecánicos pero bastante precisos", dijo Shlizerman. "También usamos PerfNet, un nuevo sintetizador de IA que genera música más rica y expresiva. Pero también generamás ruido. "
Audeo fue entrenado y probado solo en los videos de piano de Paul Barton. Se necesitan investigaciones futuras para ver qué tan bien puede transcribir música para cualquier músico o piano, dijo Shlizerman.
"El objetivo de este estudio era ver si la inteligencia artificial podía generar música interpretada por un pianista en una grabación de video, aunque no pretendíamos replicar a Paul Barton porque es un virtuoso", dijo Shlizerman.Esperamos que nuestro estudio permita formas novedosas de interactuar con la música. Por ejemplo, una aplicación futura es que Audeo puede extenderse a un piano virtual con una cámara que graba solo las manos de una persona. Además, colocando una cámara encima de un piano real, Audeo podría potencialmente ayudar en nuevas formas de enseñar a los estudiantes a jugar ".
Kun Su y Xiulong Liu, ambos estudiantes de doctorado en ingeniería eléctrica e informática, son coautores de este artículo. Esta investigación fue financiada por el Washington Research Foundation Innovation Fund, así como por los departamentos de matemáticas aplicadas e ingeniería eléctrica e informática.
Fuente de la historia :
Materiales proporcionado por Universidad de Washington . Original escrito por Sarah McQuate. Nota: el contenido se puede editar por estilo y longitud.
cite esta página :