Hoy en día, los bancos utilizan cada vez más el software para decidir quién obtendrá un préstamo, los tribunales para juzgar a quién se debe negar la fianza y los hospitales para elegir tratamientos para pacientes. Estos usos del software hacen que sea crítico que el software no discrimine a grupos oindividuos, dicen investigadores de ciencias de la computación en la Universidad de Massachusetts Amherst.
La profesora Alexandra Meliou en la Facultad de Información y Ciencias de la Computación dice: "El mayor papel del software y el impacto potencial que tiene en la vida de las personas hace que la imparcialidad del software sea una propiedad crítica. El software basado en datos tiene la capacidad de moldear el comportamiento humano:afecta los productos que vemos y compramos, los artículos de noticias que leemos, las interacciones sociales en las que participamos y, en última instancia, las opiniones que formamos ".
Meliou con el profesor Yuriy Brun y el estudiante de doctorado Sainyam Galhotra, han desarrollado una nueva técnica que llaman "Themis", para probar automáticamente el software en busca de discriminación. Esperan que Themis capacite a las partes interesadas para comprender mejor el comportamiento del software, juzguen los sesgos no deseadosestá presente y, en última instancia, mejora el software.
Brun dice: "Sin control, los sesgos en los datos y el software corren el riesgo de perpetuar los sesgos en la sociedad. Por ejemplo, el trabajo previo ha demostrado que existe un sesgo racial en los sistemas de entrega de publicidad en línea, donde las búsquedas en línea de nombres tradicionalmente minoritarios eran más probablespara generar anuncios relacionados con los registros de arrestos. Tal comportamiento de software puede contribuir a los estereotipos raciales y otras graves consecuencias sociales ".
El documento de los investigadores que describe esta investigación, publicado en materiales previos a la conferencia para la Conferencia Europea de Ingeniería de Software ESEC / FSE 2017 antes de su reunión de septiembre en Paderborn, Alemania, ganó un Grupo de Interés Especial de la Asociación de Maquinaria de Computación en Ingeniería de SoftwareACM SIGSOFT Distinguished Paper Award. El trabajo es apoyado por la National Science Foundation.
Brun explica que, si bien las investigaciones anteriores han considerado la discriminación en el software, Themis se enfoca en medir la causalidad en la discriminación. Las pruebas de software le permiten a Themis realizar pruebas de hipótesis, hacer preguntas como si cambiar la raza de una persona afecta si el software recomienda darle a esa persona unpréstamo, dice.
"Nuestro enfoque mide la discriminación con mayor precisión que el trabajo anterior que se centró en identificar diferencias en las distribuciones de salida de software, correlaciones o información mutua entre entradas y salidas. Themis puede identificar el sesgo en el software si ese sesgo es intencional o no, y puede aplicarse asoftware que se basa en el aprendizaje automático, que puede inyectar sesgos de los datos sin el conocimiento de los desarrolladores ", agrega.
Cuando se evalúa en sistemas de software públicos de GitHub, Themis descubrió que la discriminación puede colarse incluso cuando el software está diseñado explícitamente para ser justo. Las técnicas de vanguardia para eliminar la discriminación de los algoritmos fallan en muchas situaciones, en parte porqueLas definiciones anteriores de discriminación no lograron capturar la causalidad, señalan los investigadores.
Por ejemplo, Themis descubrió que un enfoque de aprendizaje automático basado en el árbol de decisiones diseñado específicamente para no discriminar contra el género en realidad discriminaba más del 11 por ciento de las veces. Es decir, más del 11 por ciento de las personas vieron afectado el rendimiento del softwaresimplemente alterando su género.
Themis también descubrió que el diseño del software para evitar la discriminación contra un atributo puede aumentar la discriminación contra otros. Por ejemplo, el mismo software basado en el árbol de decisiones capacitado para no discriminar por género discriminó contra la raza el 38 por ciento de las veces ". Estos sistemasaprende la discriminación de los datos sesgados, pero sin un control cuidadoso de posibles sesgos, el software puede aumentar ese sesgo aún más ", dice Galhotra.
Fuente de la historia :
Materiales proporcionado por Universidad de Massachusetts en Amherst . Nota: El contenido puede ser editado por estilo y longitud.
Cite esta página :