Es posible que haya visto estrellas de Hollywood con trajes de "captura de movimiento", actuando con trajes de cuerpo entero salpicados de sensores que permiten que una computadora los transforme en un Hulk o un dragón o una bestia encantada.
Ahora, una colaboración entre los laboratorios de los profesores de Princeton Mala Murthy y Joshua Shaevitz ha ido un paso más allá, utilizando los últimos avances en inteligencia artificial IA para rastrear automáticamente las partes individuales del cuerpo de los animales en un video existente.
Su nueva herramienta, LEAP Estimates Animal Pose LEAP, se puede entrenar en cuestión de minutos para rastrear automáticamente las partes individuales del cuerpo de un animal en millones de cuadros de video con alta precisión, sin tener que agregar marcadores físicos o etiquetas.
"El método se puede usar ampliamente, en sistemas de modelos animales, y será útil para medir el comportamiento de animales con mutaciones genéticas o después de tratamientos con medicamentos", dijo Murthy, profesor asociado de biología molecular y del Instituto de Neurociencia de Princeton PNI.
El artículo que detalla la nueva tecnología se publicará en la edición de enero de 2019 de la revista Métodos de la naturaleza , pero su versión de acceso abierto, lanzada en mayo, ya ha llevado a que el software sea adoptado por varios otros laboratorios.
Cuando los investigadores combinan LEAP con otras herramientas cuantitativas desarrolladas en sus laboratorios, pueden estudiar lo que llaman "el lenguaje del comportamiento" al observar patrones en los movimientos del cuerpo de los animales, dijo Shaevitz, profesor de física y del Instituto Lewis-Sigler deGenómica Integrativa.
"Esta es una herramienta flexible que, en principio, puede usarse en cualquier dato de video", dijo Talmo Pereira, un estudiante de posgrado del PNI que es el primer autor del artículo. "La forma en que funciona es etiquetar algunos puntos en unpocos videos y luego la red neuronal hace el resto. Proporcionamos una interfaz fácil de usar para que cualquiera pueda aplicar LEAP a sus propios videos, sin tener ningún conocimiento previo de programación ".
Cuando se le preguntó si LEAP funcionó tan bien en grandes mamíferos como en las moscas y ratones que formaban la mayoría de los sujetos iniciales, Pereira rápidamente creó un video con etiquetas de movimiento de una jirafa tomado de la transmisión en vivo del Centro de Investigación de Mpala enKenia, una estación de investigación de campo de la que Princeton es socio gerente.
"Tomamos un video de una jirafa caminando desde la estación de investigación de Mpala ... y etiquetamos puntos en 30 cuadros de video, lo que tomó menos de una hora", dijo Pereira. "Entonces, LEAP pudo rastrear el movimiento del restodel video aproximadamente 500 cuadros en segundos. "
Los esfuerzos anteriores para desarrollar herramientas de inteligencia artificial que pudieran rastrear el movimiento humano se han basado en grandes conjuntos de entrenamiento de datos anotados manualmente. Eso permitió que el software funcionara de manera robusta en diversos tipos de datos, con fondos o condiciones de iluminación muy diferentes.
"En nuestro caso, optimizamos métodos similares para trabajar con datos recopilados en un entorno de laboratorio, en el que las condiciones son consistentes en todas las grabaciones", dijo Murthy. "Creamos un sistema que permite al usuario elegir una red neuronal adecuada para eltipo de datos que el usuario recopiló en lugar de estar limitado por lo que otros investigadores o empresas han trabajado ".
Este proyecto surgió de una colaboración única entre un estudiante de tesis senior en el laboratorio de Murthy, Diego Aldarondo de la Clase de 2018, y su mentor de estudiantes de posgrado, Pereira, quien es asesorado conjuntamente por Murthy y Shaevitz.
"Diego estaba explorando el uso de redes neuronales profundas para anotar datos de comportamiento animal a través de una de sus clases de ciencias de la computación en Princeton, y durante charlas nocturnas en el laboratorio con Talmo, se dio cuenta de que estos métodos podrían aplicarse poderosamente a susdatos propios: videos de moscas de la fruta interactuando durante su ritual de cortejo ", dijo Murthy." La colaboración partió de ahí, y fue increíblemente divertido trabajar juntos: Diego y Talmo demostraron cuán efectivos pueden ser estos métodos de IA ".
El trabajo también tiene un gran potencial fuera de la neurociencia, dijo Monica Daley, profesora principal del Laboratorio de Estructura y Movimiento del Royal Veterinary College en el Reino Unido, que no participó en esta investigación.
"Gran parte de mi investigación tiene como objetivo comprender cómo los animales se mueven de manera efectiva en diferentes terrenos y condiciones ambientales", dijo Daley. "Uno de los mayores desafíos actuales en el campo es obtener información significativa sobre el movimiento de los animales a partir de imágenes de video. O procesamos videosmanualmente, lo que requiere muchas horas de trabajo tedioso, o centrarse en un análisis muy simplista y limitado que se puede automatizar. Los algoritmos presentados en este documento tienen el potencial de automatizar la parte de nuestro trabajo que requiere mucha mano de obra más de lo que ha sido posible anteriormente, lo que podría permitirnosotros para estudiar una mayor variedad de conductas locomotoras animales ".
Una vez que tengan una base de datos de movimientos y comportamientos, los neurocientíficos del equipo pueden establecer conexiones con los procesos neuronales detrás de ellos. Esto permitirá a los investigadores "no solo obtener una mejor comprensión de cómo el cerebro produce comportamientos", dijo Shaevitz,"sino también para explorar futuros diagnósticos y terapias que se basan en una computadora que interpreta las acciones de alguien".
Una herramienta similar fue compartida durante el verano por un equipo de investigadores de Harvard, que utilizó la arquitectura de red neuronal existente, mientras que el equipo de Princeton creó la suya propia. "Nuestro método y el de ellos tienen diferentes ventajas", dijo Murthy.campo emocionante en este momento con mucha actividad en el desarrollo de herramientas de inteligencia artificial para estudios de comportamiento y actividad neuronal ".
"Usamos un enfoque diferente, donde las redes más pequeñas y delgadas pueden lograr una alta precisión al especializarse en nuevos conjuntos de datos rápidamente", dijo Pereira. Más importante aún, mostramos que ahora hay opciones fáciles de usar para el seguimiento de las posturas de los animales a través deAI, y esperamos que esto aliente al campo a comenzar a adoptar enfoques más cuantitativos y precisos para medir el comportamiento ".
"En los últimos cinco años, la neurociencia ha avanzado enormemente en la tecnología que observa y manipula la actividad cerebral", dijo el coautor Samuel Wang, profesor de biología molecular y PNI. "Ahora, la clasificación automática de la conducta agrega un complemento fundamentala esa tecnología. Princeton se está convirtiendo en un eje central en el campo incipiente de la neuroetología computacional ".
Fuente de la historia :
Materiales proporcionado por Universidad de Princeton . Nota: el contenido se puede editar por estilo y longitud.
Referencia de la revista :
cite esta página :