Investigadores de la Universidad de Princeton han desarrollado una herramienta que detecta posibles sesgos en conjuntos de imágenes utilizadas para entrenar sistemas de inteligencia artificial IA. El trabajo es parte de un esfuerzo mayor para remediar y prevenir los sesgos que se han infiltrado en los sistemas de IA que influyentodo, desde servicios de crédito hasta programas de sentencia en tribunales.
Aunque las fuentes de sesgo en los sistemas de IA son variadas, una de las principales causas son las imágenes estereotipadas contenidas en grandes conjuntos de imágenes recopiladas de fuentes en línea que los ingenieros utilizan para desarrollar la visión por computadora, una rama de la IA que permite a las computadoras reconocer personas, objetos yacciones. Debido a que la base de la visión por computadora se basa en estos conjuntos de datos, las imágenes que reflejan estereotipos y sesgos sociales pueden influir involuntariamente en los modelos de visión por computadora.
Para ayudar a detener este problema en su origen, los investigadores del Laboratorio de IA visual de Princeton han desarrollado una herramienta de código abierto que descubre automáticamente posibles sesgos en los conjuntos de datos visuales. La herramienta permite a los creadores y usuarios de conjuntos de datos corregir problemas de representación insuficiente o estereotipadosLas representaciones antes de las colecciones de imágenes se utilizan para entrenar modelos de visión por computadora. En un trabajo relacionado, los miembros del Laboratorio de IA visual publicaron una comparación de los métodos existentes para prevenir sesgos en los propios modelos de visión por computadora y propusieron un enfoque nuevo y más eficaz para mitigar los sesgos.
La primera herramienta, denominada REVISE Revelando la biaSE visual, utiliza métodos estadísticos para inspeccionar un conjunto de datos en busca de posibles sesgos o problemas de subrepresentación en tres dimensiones: basada en objetos, basada en género y basada en geografía. Una herramienta totalmente automatizada,REVISE se basa en trabajos anteriores que implicaban filtrar y equilibrar las imágenes de un conjunto de datos de una manera que requería más dirección por parte del usuario. El estudio se presentó el 24 de agosto en la Conferencia europea virtual sobre visión por computadora.
REVISE hace un inventario del contenido de un conjunto de datos utilizando anotaciones y mediciones de imágenes existentes, como recuentos de objetos, la co-ocurrencia de objetos y personas, y países de origen de las imágenes. Entre estas mediciones, la herramienta expone patrones que difieren de las distribuciones medias.
Por ejemplo, en uno de los conjuntos de datos probados, REVISE mostró que las imágenes que incluían personas y flores diferían entre hombres y mujeres: los hombres aparecían con mayor frecuencia con flores en ceremonias o reuniones, mientras que las mujeres tendían a aparecer en escenarios o pinturas.El análisis se limitó a anotaciones que reflejaban el género binario percibido de las personas que aparecen en las imágenes.
Una vez que la herramienta revela este tipo de discrepancias, "entonces surge la pregunta de si se trata de un hecho totalmente inocuo o si está sucediendo algo más profundo, y eso es muy difícil de automatizar", dijo Olga Russakovsky, profesora asistente de informática.e investigador principal del Visual AI Lab. Russakovsky fue coautor del artículo con la estudiante graduada Angelina Wang y Arvind Narayanan, profesor asociado de informática.
Por ejemplo, REVISE reveló que era más probable que los objetos que incluían aviones, camas y pizzas fueran grandes en las imágenes que los incluían que un objeto típico en uno de los conjuntos de datos. Es posible que este problema no perpetúe los estereotipos sociales, pero podría ser problemáticopara entrenar modelos de visión por computadora. Como remedio, los investigadores sugieren recolectar imágenes de aviones que también incluyan las etiquetas montaña, desierto o cielo.
Sin embargo, es probable que la subrepresentación de regiones del mundo en los conjuntos de datos de visión por computadora genere sesgos en los algoritmos de IA. De acuerdo con análisis anteriores, los investigadores encontraron que para los países de origen de las imágenes normalizados por población,Los estados y los países europeos estaban muy sobrerrepresentados en los conjuntos de datos. Más allá de esto, REVISE mostró que para las imágenes de otras partes del mundo, las leyendas de las imágenes a menudo no estaban en el idioma local, lo que sugiere que muchas de ellas fueron capturadas por turistas y potencialmente conducen avista sesgada de un país.
Los investigadores que se centran en la detección de objetos pueden pasar por alto cuestiones de equidad en la visión por computadora, dijo Russakovsky. "Sin embargo, este análisis geográfico muestra que el reconocimiento de objetos aún puede ser bastante parcial y excluyente, y puede afectar a diferentes regiones y personas de manera desigual", dijodijo.
"Las prácticas de recopilación de datos en ciencias de la computación no se han examinado tan a fondo hasta hace poco", dijo la coautora Angelina Wang, una estudiante graduada en ciencias de la computación. Dijo que las imágenes son en su mayoría "extraídas de Internet, y la gente no 'Siempre nos damos cuenta de que sus imágenes se están utilizando [en conjuntos de datos]. Deberíamos recopilar imágenes de grupos de personas más diversos, pero cuando lo hagamos, debemos tener cuidado de obtener las imágenes de una manera respetuosa ".
"Las herramientas y los puntos de referencia son un paso importante ... nos permiten capturar estos sesgos antes en la tubería y repensar la configuración y los supuestos de nuestro problema, así como las prácticas de recopilación de datos", dijo Vicente Ordóñez-Roman, profesor asistente de informática.ciencia en la Universidad de Virginia que no participó en los estudios. "En la visión por computadora hay algunos desafíos específicos con respecto a la representación y la propagación de estereotipos. Trabajos como los del Laboratorio de IA Visual de Princeton ayudan a dilucidar y llamar la atención de loscomunidad de visión por computadora algunos de estos problemas y ofrecen estrategias para mitigarlos ".
Un estudio relacionado del Laboratorio de IA visual examinó enfoques para evitar que los modelos de visión por computadora aprendan correlaciones falsas que pueden reflejar sesgos, como predecir actividades como cocinar en imágenes de mujeres o programación de computadoras en imágenes de hombres. Señales visuales como elEl hecho de que las cebras sean blancas y negras, o que los jugadores de baloncesto usen a menudo camisetas, contribuye a la precisión de los modelos, por lo que desarrollar modelos efectivos y evitar correlaciones problemáticas es un desafío importante en el campo.
En una investigación presentada en junio en la Conferencia Internacional virtual sobre Visión por Computadora y Reconocimiento de Patrones, el estudiante graduado de ingeniería eléctrica Zeyu Wang y sus colegas compararon cuatro técnicas diferentes para mitigar los sesgos en los modelos de visión por computadora.
Descubrieron que una técnica popular conocida como entrenamiento contradictorio, o "justicia a través de la ceguera", dañaba el rendimiento general de los modelos de reconocimiento de imágenes. En el entrenamiento contradictorio, el modelo no puede considerar información sobre la variable protegida; en el estudio, los investigadoresusó el género como un caso de prueba. Un enfoque diferente, conocido como capacitación independiente del dominio o "equidad a través de la conciencia", funcionó mucho mejor en el análisis del equipo.
"Básicamente, esto dice que tendremos diferentes frecuencias de actividades para diferentes géneros, y sí, esta predicción dependerá del género, así que simplemente lo aceptaremos", dijo Russakovsky.
La técnica descrita en el documento mitiga posibles sesgos al considerar el atributo protegido por separado de otras señales visuales.
"La forma en que realmente abordamos el tema del sesgo es un problema más profundo, porque, por supuesto, podemos ver que está en los datos en sí", dijo Zeyu Wang. "Pero en el mundo real, los humanos aún pueden hacer buenos juicios mientras son conscientes denuestros sesgos ", y los modelos de visión por computadora se pueden configurar para que funcionen de manera similar, dijo.
Fuente de la historia :
Materiales proporcionado por Universidad de Princeton, Escuela de Ingeniería . Original escrito por Molly Sharlach. Nota: el contenido se puede editar por estilo y longitud.
cite esta página :