Las cosas son diferentes al otro lado del espejo.
El texto está al revés. Los relojes corren en sentido antihorario. Los automóviles circulan por el lado equivocado de la carretera. Las manos derechas se convierten en izquierdas
Intrigado por cómo la reflexión cambia las imágenes de manera sutil y no tan sutil, un equipo de investigadores de la Universidad de Cornell utilizó la inteligencia artificial para investigar qué diferencia a los originales de sus reflejos. Sus algoritmos aprendieron a captar pistas inesperadas como partes del cabello, dirección de la mirada y, sorprendentemente, barbas: hallazgos con implicaciones para entrenar modelos de aprendizaje automático y detectar imágenes falsas.
"El universo no es simétrico. Si volteas una imagen, hay diferencias", dijo Noah Snavely, profesor asociado de ciencias de la computación en Cornell Tech y autor principal del estudio, "Visual Chirality", presentado en la Conferencia 2020 sobreVisión por computadora y reconocimiento de patrones, realizada virtualmente del 14 al 19 de junio. "Estoy intrigado por los descubrimientos que puede hacer con nuevas formas de obtener información".
Zhiqui Lin es el primer autor del artículo; los coautores son Abe Davis, profesor asistente de ciencias de la computación e investigador postdoctoral de Cornell Tech, Jin Sun.
Snavely dijo que diferenciar entre imágenes originales y reflejos es una tarea sorprendentemente fácil: un algoritmo básico de aprendizaje profundo puede aprender rápidamente cómo clasificar si una imagen se volcó con una precisión del 60% al 90%, dependiendo del tipo deimágenes utilizadas para entrenar el algoritmo. Muchas de las pistas que capta son difíciles de percibir para los humanos.
Para este estudio, el equipo desarrolló tecnología para crear un mapa de calor que indica las partes de la imagen que son de interés para el algoritmo, para obtener información sobre cómo toma estas decisiones.
Descubrieron, no sorprendentemente, que la pista más utilizada era el texto, que se ve diferente al revés en cada idioma escrito. Para obtener más información, eliminaron las imágenes con texto de su conjunto de datos y descubrieron que el siguiente conjunto de características es el modelose centró en relojes de pulsera incluidos, cuellos de camisa los botones tienden a estar en el lado izquierdo, caras y teléfonos, que la mayoría de las personas tienden a llevar en sus manos derechas, así como otros factores que revelan la diestra.
Los investigadores estaban intrigados por la tendencia del algoritmo a enfocarse en las caras, que no parecen obviamente asimétricas. "De alguna manera, dejó más preguntas que respuestas", dijo Snavely.
Luego llevaron a cabo otro estudio centrado en las caras y descubrieron que el mapa de calor se iluminaba en áreas como la parte del cabello, la mirada, la mayoría de las personas, por razones que los investigadores no conocen, miran a la izquierda en las fotos de retratosbarbas
Snavely dijo que él y los miembros de su equipo no tienen idea de qué información está encontrando el algoritmo en las barbas, pero plantearon la hipótesis de que la forma en que las personas se peinan o se afeitan la cara podría revelar la mano.
"Es una forma de descubrimiento visual", dijo Snavely. "Si puede ejecutar el aprendizaje automático a escala en millones y millones de imágenes, tal vez pueda comenzar a descubrir nuevos hechos sobre el mundo".
Cada una de estas pistas individualmente puede no ser confiable, pero el algoritmo puede generar una mayor confianza al combinar múltiples pistas, mostraron los hallazgos. Los investigadores también encontraron que el algoritmo usa señales de bajo nivel, derivadas de la forma en que las cámaras procesan las imágenes, para crearsus decisiones
Aunque se necesitan más estudios, los hallazgos podrían afectar la forma en que se entrenan los modelos de aprendizaje automático. Estos modelos necesitan un gran número de imágenes para aprender a clasificar e identificar imágenes, por lo que los informáticos a menudo usan reflejos de imágenes existentes para duplicar efectivamentesus conjuntos de datos.
Examinar cómo estas imágenes reflejadas difieren de los originales podría revelar información sobre posibles sesgos en el aprendizaje automático que podrían conducir a resultados inexactos, dijo Snavely.
"Esto lleva a una pregunta abierta para la comunidad de visión por computadora, que es, ¿cuándo está bien hacer esto para aumentar su conjunto de datos, y cuándo no está bien?", Dijo. "Espero que esto llegueque la gente piense más sobre estas preguntas y comience a desarrollar herramientas para comprender cómo está sesgando el algoritmo ".
Comprender cómo la reflexión cambia una imagen también podría ayudar a usar la inteligencia artificial para identificar imágenes que han sido falsificadas o manipuladas, un tema de creciente preocupación en Internet.
"Esta es quizás una nueva herramienta o visión que se puede utilizar en el universo de la investigación forense de imágenes, si quieres saber si algo es real o no", dijo Snavely.
La investigación fue apoyada en parte por los filántropos Eric Schmidt, ex CEO de Google y Wendy Schmidt.
Fuente de la historia :
Materiales proporcionado por Universidad de Cornell . Original escrito por Melanie Lefkowitz. Nota: El contenido puede ser editado por estilo y longitud.
Cita esta página :