Los investigadores del MIT han compilado un conjunto de datos que captura el comportamiento detallado de un sistema robótico que empuja físicamente cientos de objetos diferentes. Utilizando el conjunto de datos, el más grande y diverso de su tipo, los investigadores pueden entrenar a los robots para "aprender" dinámicas de empuje queson fundamentales para muchas tareas complejas de manipulación de objetos, incluida la reorientación e inspección de objetos y el desorden de escenas.
Para capturar los datos, los investigadores diseñaron un sistema automatizado que consiste en un brazo robótico industrial con control preciso, un sistema de seguimiento de movimiento 3D, cámaras tradicionales y de profundidad, y un software que une todo. El brazo empuja objetos modulares que puedenajustarse por peso, forma y distribución de masa. Para cada empuje, el sistema captura cómo esas características afectan el empuje del robot.
El conjunto de datos, llamado "Omnipush", contiene 250 empujes diferentes de 250 objetos, totalizando aproximadamente 62,500 empujes únicos. Ya está siendo utilizado por investigadores para, por ejemplo, construir modelos que ayuden a los robots a predecir dónde aterrizarán los objetos cuando son empujados.
"Necesitamos una gran cantidad de datos para asegurarnos de que nuestros robots puedan aprender", dice Maria Bauza, una estudiante graduada en el Departamento de Ingeniería Mecánica MechE y primer autor de un artículo que describe Omnipush que se presentará en el próximo InternationalConferencia sobre Robots y Sistemas Inteligentes. "Aquí, estamos recopilando datos de un sistema robótico real, [y] los objetos son lo suficientemente variados como para capturar la riqueza de los fenómenos de empuje. Esto es importante para ayudar a los robots a comprender cómo funciona el empuje, ytraducir esa información a otros objetos similares en el mundo real "
Junto a Bauza en el papel están: Ferran Alet y Yen-Chen Lin, estudiantes graduados en el Laboratorio de Ciencias de la Computación e Inteligencia Artificial y el Departamento de Ingeniería Eléctrica y Ciencias de la Computación EECS; Tomas Lozano-Pérez, Profesor de la Escuela de Ingenieríade excelencia en la enseñanza; Leslie P. Kaelbling, profesora de informática e ingeniería de Panasonic; Phillip Isola, profesor asistente en EECS; y Alberto Rodríguez, profesor asociado en MechE.
Diversificación de datos
¿Por qué enfocarse en el comportamiento de empuje? Modelar dinámicas de empuje que involucran fricción entre objetos y superficies, explica Rodríguez, es crítico en las tareas robóticas de nivel superior. Considere el robot visual y técnicamente impresionante que puede jugar Jenga, que Rodríguez diseñó recientemente."El robot está realizando una tarea compleja, pero el núcleo de la mecánica que maneja esa tarea sigue siendo la de empujar un objeto afectado por, por ejemplo, la fricción entre bloques", dice Rodríguez.
Omnipush se basa en un conjunto de datos similar construido en el Laboratorio de Manipulación y Mecanismos MCube por Rodríguez, Bauza y otros investigadores que capturaron datos de empuje en solo 10 objetos. Después de hacer público el conjunto de datos en 2016, obtuvieron comentarios de los investigadores.la queja era la falta de diversidad de objetos: los robots entrenados en el conjunto de datos lucharon por generalizar la información a nuevos objetos. Tampoco había video, lo cual es importante para la visión por computadora, la predicción de video y otras tareas.
Para su nuevo conjunto de datos, los investigadores aprovechan un brazo robótico industrial con control de precisión de la velocidad y la posición de un empujador, básicamente una barra de acero vertical. A medida que el brazo empuja los objetos, un sistema de seguimiento de movimiento "Vicon" - quese ha utilizado en películas, realidad virtual y para investigación, sigue los objetos. También hay una cámara RGB-D, que agrega información de profundidad al video capturado.
La clave era construir objetos modulares. Las piezas centrales uniformes, hechas de aluminio, parecen estrellas de cuatro puntas y pesan aproximadamente 100 gramos. Cada pieza central contiene marcadores en su centro y puntos, para que el sistema Vicon pueda detectar su pose dentroun milímetro
Las piezas más pequeñas en cuatro formas: cóncava, triangular, rectangular y circular, se pueden unir magnéticamente a cualquier lado de la pieza central. Cada pieza pesa entre 31 y 94 gramos, pero pesas adicionales, que van de 60 a 150 gramos, se pueden colocar en pequeños agujeros en las piezas. Todas las piezas de los objetos en forma de rompecabezas se alinean tanto horizontal como verticalmente, lo que ayuda a emular la fricción que tendría un solo objeto con la misma forma y distribución de masa. Todas las combinaciones de diferentes lados, pesos, y las distribuciones en masa agregaron hasta 250 objetos únicos.
Para cada empuje, el brazo se mueve automáticamente a una posición aleatoria a varios centímetros del objeto. Luego, selecciona una dirección aleatoria y empuja el objeto por un segundo. Comenzando desde donde se detuvo, elige otra dirección aleatoria y repiteproceso 250 veces. Cada impulso registra la pose del objeto y el video RGB-D, que puede usarse para varios propósitos de predicción de video. La recolección de datos tomó 12 horas al día, durante dos semanas, un total de más de 150 horas. Intervención humanasolo era necesario al reconfigurar manualmente los objetos.
Los objetos no imitan específicamente ningún elemento de la vida real. En cambio, están diseñados para capturar la diversidad de "cinemática" y "asimetrías de masas" que se esperan de los objetos del mundo real, que modelan la física del movimiento de los objetos reales.-objetos del mundo. Los robots pueden entonces extrapolar, digamos, el modelo físico de un objeto Omnipush con distribución de masa desigual a cualquier objeto del mundo real con distribuciones de peso desiguales similares.
"Imagine empujar una mesa con cuatro patas, donde la mayor parte del peso está sobre una de las patas. Cuando empuja la mesa, ve que gira sobre la pata pesada y tiene que reajustarse. Comprender esa distribución de masa y su efecto enEl resultado de un empujón es algo que los robots pueden aprender con este conjunto de objetos ", dice Rodríguez.
Impulsando una nueva investigación
En un experimento, los investigadores utilizaron Omnipush para entrenar un modelo para predecir la pose final de los objetos empujados, dada solo la pose inicial y la descripción del empuje. Entrenaron el modelo en 150 objetos Omnipush, y lo probaron en unparte de los objetos. Los resultados mostraron que el modelo entrenado por Omnipush era dos veces más preciso que los modelos entrenados en algunos conjuntos de datos similares. En su trabajo, los investigadores también registraron puntos de referencia con precisión que otros investigadores pueden usar para la comparación.
Debido a que Omnipush captura video de los empujes, una aplicación potencial es la predicción de video. Un colaborador, por ejemplo, ahora está usando el conjunto de datos para entrenar a un robot para esencialmente "imaginar" empujar objetos entre dos puntos. Después de entrenar en Omnipush, el robotse le da como entrada dos cuadros de video, mostrando un objeto en su posición inicial y final. Usando la posición inicial, el robot predice todos los cuadros futuros de video que aseguran que el objeto alcance su posición final. Luego, empuja el objeto de una manera quecoincide con cada cuadro de video predicho, hasta que llega al cuadro con la posición final.
"El robot pregunta: 'Si hago esta acción, ¿dónde estará el objeto en este marco?' Luego, selecciona la acción que maximiza la probabilidad de colocar el objeto en la posición que desea", dice Bauza ".Decide cómo mover objetos imaginando primero cómo cambiarán los píxeles de la imagen después de un impulso ".
Fuente de la historia :
Materiales proporcionado por Instituto de Tecnología de Massachusetts . Nota: El contenido puede ser editado por estilo y longitud.
Referencia del diario :
Cite esta página :