Uno de los objetivos finales de la inteligencia artificial es una máquina que realmente entienda el lenguaje humano e interprete el significado de pasajes complejos y matizados. Cuando la computadora Watson de IBM venció al famoso campeón "Jeopardy!" Ken Jennings en 2011, parecía que ese hito había alcanzadoSin embargo, cualquiera que haya tratado de mantener una conversación con el asistente virtual Siri sabe que las computadoras tienen un largo camino por recorrer para comprender verdaderamente el lenguaje humano. Para mejorar la comprensión del lenguaje, los sistemas informáticos deben entrenarse utilizando preguntas que los desafíen y reflejentoda la complejidad del lenguaje humano.
Investigadores de la Universidad de Maryland han descubierto cómo crear de manera confiable tales preguntas a través de una colaboración humano-computadora, desarrollando un conjunto de datos de más de 1,200 preguntas que, a pesar de que es fácil de responder para las personas, confunden los mejores sistemas de respuesta por computadora en la actualidad.El sistema que aprende a dominar estas preguntas tendrá una mejor comprensión del lenguaje que cualquier otro sistema existente actualmente. El trabajo se describe en un artículo publicado en la edición de 2019 de la revista Transacciones de la Asociación de Lingüística Computacional .
"La mayoría de los sistemas informáticos de preguntas y respuestas no explican por qué responden de la manera en que lo hacen, pero nuestro trabajo nos ayuda a ver lo que las computadoras realmente entienden", dijo Jordan Boyd-Graber, profesor asociado de ciencias de la computación en la UMD y autor principal de"Además, hemos producido un conjunto de datos para probar en las computadoras que revelará si un sistema de lenguaje de computadora está realmente leyendo y haciendo el mismo tipo de procesamiento que los humanos pueden hacer".
La mayoría del trabajo actual para mejorar los programas de respuesta a preguntas utiliza autores humanos o computadoras para generar preguntas. El desafío inherente a estos enfoques es que cuando los humanos escriben preguntas, no saben qué elementos específicos de su pregunta confunden a la computadoraCuando las computadoras escriben las preguntas, escriben preguntas formuladas, llenan los espacios en blanco o cometen errores, a veces generando tonterías.
Para desarrollar su novedoso enfoque de humanos y computadoras trabajando juntos para generar preguntas, Boyd-Graber y su equipo crearon una interfaz de computadora que revela lo que una computadora está "pensando" cuando un escritor humano escribe una pregunta. El escritor puede editar suo su pregunta para explotar las debilidades de la computadora.
En la nueva interfaz, un autor humano escribe una pregunta mientras las suposiciones de la computadora aparecen en orden ordenado en la pantalla, y las palabras que llevaron a la computadora a hacer sus suposiciones se resaltan.
Por ejemplo, si el autor escribe "¿Qué variaciones del compositor sobre un tema de Haydn fueron inspiradas por Karl Ferdinand Pohl?" Y el sistema responde correctamente "Johannes Brahms", la interfaz resalta las palabras "Ferdinand Pohl" para mostrar que esta fraselo llevó a la respuesta. Usando esa información, el autor puede editar la pregunta para que sea más difícil para la computadora sin alterar el significado de la pregunta. En este ejemplo, el autor reemplazó el nombre del hombre que inspiró a Brahms, "Karl Ferdinand Pohl, "con una descripción de su trabajo", el archivero del Musikverein de Viena ", y la computadora no pudo responder correctamente. Sin embargo, los jugadores expertos en juegos de preguntas y respuestas humanos aún podrían responder fácilmente a la pregunta editada."
Al trabajar juntos, los humanos y las computadoras desarrollaron de manera confiable 1,213 preguntas que los investigadores probaron durante una competencia enfrentando a jugadores humanos experimentados, desde equipos de trivia de escuelas secundarias hasta campeones de "¡Peligro!", Contra las computadoras. Incluso los más débiles.El equipo humano derrotó al sistema informático más fuerte.
"Durante tres o cuatro años, las personas han sido conscientes de que los sistemas informáticos de preguntas y respuestas son muy frágiles y pueden ser engañados con mucha facilidad", dijo Shi Feng, un estudiante graduado en informática de la UMD y coautor del artículo ".Pero este es el primer documento que conocemos que en realidad usa una máquina para ayudar a los humanos a romper el modelo en sí ".
Los investigadores dicen que estas preguntas servirán no solo como un nuevo conjunto de datos para que los informáticos comprendan mejor dónde falla el procesamiento del lenguaje natural, sino también como un conjunto de datos de entrenamiento para desarrollar algoritmos mejorados de aprendizaje automático. Las preguntas revelaron seis fenómenos del lenguaje diferentes que constantemente topanordenadores.
Estos seis fenómenos se dividen en dos categorías. En la primera categoría se encuentran los fenómenos lingüísticos: parafrasear como decir "saltar de un precipicio" en lugar de "saltar de un precipicio", distraer el lenguaje o contextos inesperados como una referencia auna figura política que aparece en una pista sobre algo que no está relacionado con la política. La segunda categoría incluye habilidades de razonamiento: pistas que requieren lógica y cálculo, triangulación mental de elementos en una pregunta o unir múltiples pasos para llegar a una conclusión.
"Los humanos pueden generalizar más y ver conexiones más profundas", dijo Boyd-Graber. "No tienen la memoria ilimitada de las computadoras, pero aún tienen la ventaja de poder ver el bosque por los árboles.La catalogación de los problemas que tienen las computadoras nos ayuda a comprender los problemas que debemos abordar, de modo que podamos hacer que las computadoras comiencen a ver el bosque a través de los árboles y a responder preguntas como lo hacen los humanos ".
Hay un largo camino por recorrer antes de que eso suceda, agregó Boyd-Graber, quien también tiene citas conjuntas en el Instituto de Estudios Avanzados de Computación de la Universidad de Maryland UMIACS, así como en el Centro de Estudios de Información y Ciencias del Lenguaje de la Universidad de Maryland.Este trabajo proporciona una herramienta nueva y emocionante para ayudar a los informáticos a alcanzar ese objetivo.
"Este documento presenta una agenda de investigación para los próximos años para que podamos hacer que las computadoras respondan bien las preguntas", dijo.
Fuente de la historia :
Materiales proporcionado por Universidad de Maryland . Nota: El contenido puede ser editado por estilo y longitud.
Referencia del diario :
Cita esta página :