Las personas con discapacidad auditiva tienen dificultades para seguir una conversación en un entorno de múltiples altavoces, como un restaurante ruidoso o una fiesta. Si bien los audífonos actuales pueden suprimir el ruido de fondo, no pueden ayudar al usuario a escuchar una sola conversación entre muchossin saber a qué orador está atendiendo el usuario. Un audífono cognitivo que monitorea constantemente la actividad cerebral del sujeto para determinar si el sujeto está conversando con un orador específico en el entorno sería un sueño hecho realidad.
Utilizando modelos de redes neuronales profundas, los investigadores de Columbia Engineering han hecho un gran avance en los métodos de decodificación de la atención auditiva AAD y se están acercando a hacer realidad los audífonos controlados cognitivamente. El estudio, dirigido por Nima Mesgarani, profesora asociada de ingeniería eléctrica, se publica en el Revista de Ingeniería Neural . El trabajo se realizó en colaboración con el Departamento de Neurocirugía del Centro Médico de la Universidad de Columbia y la Escuela de Medicina Hofstra-Northwell, y el Instituto Feinstein de Investigación Médica. DEMO: http://naplab.ee.columbia.edu/nnaad.html
el equipo de Mesgarani desarrolló un sistema de extremo a extremo que recibe un solo canal de audio que contiene una mezcla de altavoces por un oyente junto con las señales neuronales del oyente, separa automáticamente los altavoces individuales en la mezcla, determina qué altavoz se está escuchando,y luego amplifica la voz del orador asistido para ayudar al oyente, todo en menos de 10 segundos.
"Este trabajo combina el estado de la técnica de dos disciplinas: ingeniería del habla y decodificación de la atención auditiva", dice Mesgarani, quien también es miembro del Instituto de Ciencia de Datos y el Instituto de Comportamiento Mental Mortimer B. Zuckerman."Pudimos desarrollar este sistema una vez que hicimos el avance en el uso de modelos de redes neuronales profundas para separar el habla".
A su equipo se le ocurrió la idea de un audífono con control cognitivo después de demostrar que era posible decodificar el objetivo atendido de un oyente usando respuestas neuronales en el cerebro del oyente usando grabaciones neuronales invasivas en humanos Nature 2012. Dos años después, demostraron que también podían decodificar la atención con métodos no invasivos Cerebral Cortex 2015.
"Traducir estos hallazgos a aplicaciones del mundo real plantea muchos desafíos", señala James O'Sullivan, un científico de investigación posdoctoral que trabaja con Mesgarani y autor principal del estudio. En una implementación típica de decodificación de la atención auditiva, los investigadores comparan las respuestas neuronalesgrabado desde el cerebro de un sujeto con el discurso limpio pronunciado por diferentes hablantes; el hablante que produce la máxima similitud con los datos neuronales se determina que es el objetivo y posteriormente se amplifica. Sin embargo, en el mundo real, los investigadores solo tienen acceso a la mezcla, no los altavoces individuales.
"Nuestro estudio da un paso significativo hacia la separación automática de un altavoz asistido de la mezcla", continúa O'Sullivan. "Para ello, creamos modelos de redes neuronales profundas que pueden separar automáticamente altavoces específicos de una mezcla. Luego comparamos cadade estos altavoces separados con las señales neuronales para determinar qué voz está escuchando el sujeto y luego amplificar esa voz específica para el oyente ".
El equipo probó la eficacia de su sistema utilizando grabaciones de electrocorticografía invasiva de sujetos neurológicos sometidos a cirugía de epilepsia. Identificaron las regiones de la corteza auditiva que contribuyen a la DAA y descubrieron que el sistema decodificó la atención del oyente y amplificó la vozella quería escuchar, usando solo el audio mezclado.
"Nuestro sistema demuestra una mejora significativa en las medidas de calidad del habla tanto subjetivas como objetivas, casi todos nuestros sujetos dijeron que querían continuar usándolo", dice Mesgarani. "Nuestro nuevo marco para AAD cierra la brecha entre los más recientesavances en las tecnologías de procesamiento del habla y la investigación de prótesis del habla y nos acerca al desarrollo de dispositivos de ayuda auditiva realistas que pueden rastrear automática y dinámicamente la dirección de atención de un usuario y amplificar un orador atendido ".
Fuente de la historia :
Materiales proporcionado por Escuela de Ingeniería y Ciencias Aplicadas de la Universidad de Columbia . Nota: El contenido puede ser editado por estilo y longitud.
Referencia del diario :
Cite esta página :