Inspirados por el dominio de la inteligencia artificial IA en juegos como Go y Super Mario, los científicos de National Synchrotron Light Source II NSLS-II entrenaron a un agente de IA, un programa computacional autónomo que observa y actúa, cómopara realizar experimentos de investigación a niveles sobrehumanos utilizando el mismo enfoque. El equipo de Brookhaven publicó sus hallazgos en la revista Aprendizaje automático: ciencia y tecnología e implementó el agente de IA como parte de las capacidades de investigación en NSLS-II.
Como una instalación para usuarios de la Oficina de Ciencias del Departamento de Energía de EE. UU. Ubicada en el Laboratorio Nacional Brookhaven del DOE, NSLS-II permite estudios científicos de más de 2000 investigadores cada año, ofreciendo acceso a los rayos X ultrabrillantes de la instalación. Científicos de todosde todo el mundo vienen a la instalación para avanzar en sus investigaciones en áreas como baterías, microelectrónica y desarrollo de fármacos. Sin embargo, el tiempo en las estaciones experimentales de NSLS-II, llamadas líneas de luz, es difícil de conseguir porque casi tres veces más investigadoresles gusta usarlos como cualquier estación puede manejarlos en un día, a pesar de las operaciones 24/7 de la instalación.
"Dado que el tiempo en nuestras instalaciones es un recurso precioso, es nuestra responsabilidad ser buenos administradores de eso; esto significa que debemos encontrar formas de usar este recurso de manera más eficiente para que podamos habilitar más ciencia", dijo Daniel Olds,científico de la línea de luz en NSLS-II y autor correspondiente del estudio. "Un cuello de botella somos nosotros, los humanos que estamos midiendo las muestras. Creamos una estrategia inicial, pero la ajustamos sobre la marcha durante la medición para asegurarnos de que todo funciona sin problemas. Pero no podemos ver la medición todo el tiempo porque también necesitamos comer, dormir y hacer algo más que ejecutar el experimento ".
"Es por eso que enseñamos a un agente de inteligencia artificial a realizar experimentos científicos como si fueran videojuegos. Esto permite que un robot ejecute el experimento, mientras que nosotros, los humanos, no estamos allí. Permite las 24 horas del día,experimentación totalmente remota y sin intervención con aproximadamente el doble de la eficiencia que los humanos pueden lograr ", agregó Phillip Maffettone, investigador asociado de NSLS-II y primer autor del estudio.
Según los investigadores, ni siquiera tuvieron que darle al agente de IA las reglas del 'juego' para ejecutar el experimento. En cambio, el equipo utilizó un método llamado "aprendizaje por refuerzo" para entrenar a un agente de IA sobre cómoejecutar un experimento científico exitoso y luego probar su agente en datos de investigación simulados de la línea de luz de la función de distribución de pares en NSLS-II.
Experimentos en la línea de luz: un desafío a nivel de jefe
El aprendizaje por refuerzo es una estrategia para entrenar a un agente de IA para dominar una habilidad. La idea del aprendizaje por refuerzo es que el agente de IA percibe un entorno un mundo y puede influir en él realizando acciones. Dependiendo de cómo el agente de IAinteractúa con el mundo, puede recibir una recompensa o una penalización, reflejando si esta interacción específica es una buena o mala elección. El truco es que el agente de IA retiene la memoria de sus interacciones con el mundo, para que pueda aprenderde la experiencia para cuando vuelva a intentarlo. De esta manera, el agente de IA descubre cómo dominar una tarea al recolectar la mayor cantidad de recompensas.
"El aprendizaje por refuerzo realmente se presta a enseñar a los agentes de IA a jugar videojuegos. Es más exitoso con juegos que tienen un concepto simple, como recolectar tantas monedas como sea posible, pero que también tienen capas ocultas, como túneles secretos que contienenmás monedas. Los experimentos de líneas de luz siguen una idea similar: el concepto básico es simple, pero hay secretos ocultos que queremos descubrir. Básicamente, para que un agente de IA ejecute nuestra línea de luz, necesitábamos convertir nuestra línea de luz en un videojuego ", dijoViejos.
Maffettone agregó: "La comparación con un videojuego funciona bien para la línea de luz. En ambos casos, el agente de IA actúa en un mundo con reglas claras. En el mundo de Super Mario, el agente de IA puede elegir mover a Mario hacia arriba,abajo, izquierda, derecha; mientras que en la línea de luz, las acciones serían los movimientos de la muestra o el detector y decidir cuándo tomar datos. El verdadero desafío es simular el entorno correctamente: un videojuego como Super Mario ya es unmundo simulado y puedes dejar que el agente de IA lo juegue un millón de veces para aprenderlo. Entonces, para nosotros, la pregunta era cómo podemos simular una línea de luz de tal manera que el agente de IA pueda ejecutar un millón de experimentos sin ejecutarlos"dijo Maffettone.
El equipo "gamificó" la línea de luz mediante la construcción de una versión virtual de la misma que simulaba las mediciones que la línea de luz real puede hacer. Usaron millones de conjuntos de datos que el agente de IA podría recopilar mientras "jugaba" para ejecutar experimentos en la línea de luz virtual.
"El entrenamiento de estas IA es muy diferente a la mayoría de la programación que hacemos en las líneas de luz. No les está diciendo explícitamente a los agentes qué hacer, pero está tratando de encontrar una estructura de recompensas que haga que se comporten como usted quiere.. Es un poco como enseñarle a un niño a jugar videojuegos por primera vez. No quiere decirles cada movimiento que deben hacer, quiere que empiecen a inferir las estrategias por sí mismos ", dijo Olds.
Una vez que se simuló la línea de luz y el agente de IA aprendió a realizar experimentos de investigación utilizando la línea de luz virtual, llegó el momento de probar la capacidad de la IA para tratar con muchas muestras desconocidas.
"Los experimentos más comunes en nuestra línea de luz involucran desde una hasta cientos de muestras que a menudo son variaciones del mismo material o materiales similares, pero no sabemos lo suficiente sobre las muestras para comprender cómo podemos medirlas mejorAsí que, como seres humanos, tendríamos que revisarlos todos, uno por uno, tomar una medición instantánea y luego, basándonos en ese trabajo, idear una buena estrategia. Ahora, simplemente dejamos que el agente de IA previamente capacitadoresuélvelo ", dijo Olds.
En sus escenarios de investigación simulados, el agente de IA pudo medir muestras desconocidas con hasta el doble de eficiencia que los humanos en circunstancias muy restringidas, como un tiempo de medición limitado.
"No tuvimos que programar en la lógica de un científico de cómo ejecutar un experimento, él descubrió estas estrategias por sí mismo a través del juego repetitivo", dijo Olds.
Descubrimiento de materiales: cargando juego nuevo
Con el agente de inteligencia artificial listo para la acción, era hora de que el equipo averiguara cómo podría realizar un experimento real moviendo los componentes reales de la línea de luz. Para este desafío, los científicos se unieron a la adquisición de datos de NSLS-II,Grupo de Gestión y Análisis para crear la infraestructura de backend. Desarrollaron un programa llamado adaptativo de Bluesky , que actúa como una interfaz genérica entre las herramientas de IA y Bluesky, el paquete de software que ejecuta todas las líneas de luz de NSLS-II. Esta interfaz sentó las bases necesarias para utilizar herramientas de IA similares en cualquiera de las otras 28 líneas de luz de NSLS-II.
"Nuestro agente ahora no solo se puede utilizar para un tipo de muestra o un tipo de medición; es muy adaptable. Podemos ajustarlo o ampliarlo según sea necesario. Ahora que existe la tubería, me llevaría45 minutos hablando con la persona y 15 minutos en mi teclado para ajustar al agente a sus necesidades ", dijo Maffettone.
El equipo espera ejecutar los primeros experimentos reales utilizando el agente de IA esta primavera y está colaborando activamente con otras líneas de luz en NSLS-II para hacer que la herramienta sea accesible para otras mediciones.
"Usar el tiempo de nuestros instrumentos de manera más eficiente es como hacer funcionar un motor de manera más eficiente: estamos haciendo más descubrimientos por año. Esperamos que nuestra nueva herramienta permita un nuevo enfoque transformador para aumentar nuestra producción como instalación de usuario con la mismarecursos."
El equipo que hizo posible este avance también está formado por Joshua K. Lynch, Thomas A. Caswell y Stuart I. Campbell del NSLS-II DAMA Group y Clara E. Cook de la Universidad de Buffalo.
Este estudio fue financiado por un fondo de Investigación y Desarrollo Dirigido por Laboratorio LDRD de BNL y la Oficina de Ciencias BES del Departamento de Energía de EE. UU. DOE. La Fuente de Luz Nacional de Sincrotrón II NSLS-II es una Oficina deScience User Facility operado para la Oficina de Ciencias del DOE por el Laboratorio Nacional Brookhaven
Fuente de la historia :
Materiales proporcionado por DOE / Laboratorio Nacional Brookhaven . Nota: el contenido se puede editar por estilo y longitud.
Referencia de la revista :
cite esta página :