La inteligencia artificial, específicamente, el aprendizaje automático, es parte de la vida diaria de los usuarios de computadoras y teléfonos inteligentes. Desde errores tipográficos de corrección automática hasta la recomendación de nueva música, los algoritmos de aprendizaje automático pueden ayudar a hacer la vida más fácil. También pueden cometer errores.
Puede ser un desafío para los científicos informáticos descubrir qué salió mal en tales casos. Esto se debe a que muchos algoritmos de aprendizaje automático aprenden de la información y hacen sus predicciones dentro de una "caja negra" virtual, dejando pocas pistas para que los investigadores sigan.
Un grupo de informáticos de la Universidad de Maryland ha desarrollado un nuevo enfoque prometedor para interpretar algoritmos de aprendizaje automático. A diferencia de los esfuerzos anteriores, que generalmente buscaban "romper" los algoritmos eliminando palabras clave de las entradas para obtener la respuesta incorrecta, elEn cambio, el grupo UMD redujo las entradas al mínimo necesario para obtener la respuesta correcta. En promedio, los investigadores obtuvieron la respuesta correcta con una entrada de menos de tres palabras.
En algunos casos, los algoritmos modelo de los investigadores proporcionaron la respuesta correcta basada en una sola palabra. Con frecuencia, la palabra o frase de entrada parecía tener poca conexión obvia con la respuesta, revelando información importante sobre cómo algunos algoritmos reaccionan a un lenguaje específico.Debido a que muchos algoritmos están programados para dar una respuesta sin importar qué, incluso cuando se lo solicite una entrada sin sentido, los resultados podrían ayudar a los científicos informáticos a construir algoritmos más efectivos que puedan reconocer sus propias limitaciones.
Los investigadores presentarán su trabajo el 4 de noviembre de 2018 en la Conferencia sobre métodos empíricos en el procesamiento del lenguaje natural de 2018.
"Los modelos de caja negra parecen funcionar mejor que los modelos más simples, como los árboles de decisión, pero incluso las personas que escribieron el código inicial no pueden decir exactamente qué está sucediendo", dijo Jordan Boyd-Graber, autor principal deel estudio y un profesor asociado de ciencias de la computación en la UMD. "Cuando estos modelos devuelven respuestas incorrectas o sin sentido, es difícil averiguar por qué. Por lo tanto, tratamos de encontrar la entrada mínima que produciría el resultado correcto. La entrada promedio fueaproximadamente tres palabras, pero podríamos resumirlo en una sola palabra en algunos casos "
En un ejemplo, los investigadores ingresaron una foto de un girasol y la pregunta basada en texto, "¿De qué color es la flor?" Como entradas en un algoritmo modelo. Estas entradas arrojaron la respuesta correcta de "amarillo". Después de reformular elpregunta en varias combinaciones más cortas de palabras, los investigadores descubrieron que podían obtener la misma respuesta con "¿flor?" como la única entrada de texto para el algoritmo.
En otro ejemplo más complejo, los investigadores usaron el mensaje: "En 1899, John Jacob Astor IV invirtió $ 100,000 para Tesla para desarrollar y producir un nuevo sistema de iluminación. En su lugar, Tesla utilizó el dinero para financiar sus experimentos en Colorado Springs."
Luego le preguntaron al algoritmo: "¿En qué gastó Tesla el dinero de Astor?" Y recibieron la respuesta correcta, "Experimentos de Colorado Springs". Reducir esta entrada a la sola palabra "sí" arrojó la misma respuesta correcta.
El trabajo revela información importante sobre las reglas que los algoritmos de aprendizaje automático aplican a la resolución de problemas. Muchos problemas del mundo real con algoritmos se producen cuando una entrada que tiene sentido para los humanos resulta en una respuesta sin sentido. Al mostrar que lo contrario también es posible:- que las entradas sin sentido también pueden dar respuestas correctas y sensatas - Boyd-Graber y sus colegas demuestran la necesidad de algoritmos que puedan reconocer cuando responden una pregunta sin sentido con un alto grado de confianza.
"La conclusión es que todo este sofisticado material de aprendizaje automático en realidad puede ser bastante estúpido", dijo Boyd-Graber, quien también tiene citas conjuntas en el Instituto de Estudios Avanzados de Computación de la Universidad de Maryland UMIACS y en la Universidad de UMDdel Centro de Estudios de Información y Ciencias del Lenguaje ". Cuando los informáticos entrenan estos modelos, generalmente solo les mostramos preguntas reales u oraciones reales. No les mostramos frases sin sentido o palabras sueltas. Los modelos no saben que deben confundirsepor estos ejemplos "
Según Boyd-Graber, la mayoría de los algoritmos se obligarán a proporcionar una respuesta, incluso con datos insuficientes o conflictivos. Esto podría estar en el corazón de algunas de las salidas incorrectas o sin sentido generadas por los algoritmos de aprendizaje automático, en los algoritmos de modelo utilizadospara investigación, así como algoritmos del mundo real que nos ayudan marcando correos electrónicos no deseados u ofreciendo direcciones de manejo alternativas. Comprender más sobre estos errores podría ayudar a los científicos informáticos a encontrar soluciones y construir algoritmos más confiables.
"Mostramos que los modelos pueden ser entrenados para saber que deben estar confundidos", dijo Boyd-Graber. "Entonces pueden simplemente salir y decir: 'Me has mostrado algo que no puedo entender'".
Además de Boyd-Graber, los investigadores afiliados a la UMD que participan en este trabajo incluyen al investigador universitario Eric Wallace; los estudiantes graduados Shi Feng y Pedro Rodríguez; y el ex estudiante graduado Mohit Iyyer MS '14, Ph.D. '17, computadoraCiencias.
La presentación de la investigación, "Las patologías de los modelos neuronales dificultan la interpretación", Shi Feng, Eric Wallace, Alvin Grissom II, Pedro Rodríguez, Mohit Iyyer y Jordan Boyd-Graber, se presentarán en la Conferencia de 2018 sobre Métodos Empíricos en NaturalProcesamiento de idiomas el 4 de noviembre de 2018.
Este trabajo fue apoyado por la Agencia de Proyectos de Investigación Avanzada de Defensa Premio No. HR0011-15-C-011 y la National Science Foundation Premio No. IIS1652666. El contenido de este artículo no refleja necesariamente los puntos de vista de estosorganizaciones.
Fuente de la historia :
Materiales proporcionados por Universidad de Maryland . Nota: El contenido puede ser editado por estilo y longitud.
Cite esta página :