Enseñar a un robot a alucinar

Entrenar robots para que ejecuten tareas en el mundo real requiere datos: cuantos más, mejor. El problema es que crear estos conjuntos de datos requiere mucho tiempo y esfuerzo, y los métodos no se adaptan bien. Ahí es donde Aprendizaje robótico con experiencia imaginada semánticamente (ROSIE).

El concepto básico es sencillo: mejorar los datos de entrenamiento con elementos alucinados para cambiar detalles, añadir variaciones o introducir distracciones novedosas. Los estudios demuestran que un robot entrenado adicionalmente con estos datos realiza mejor las tareas que uno sin ellos.

Este robot es capaz de depositar un objeto en un fregadero metálico que nunca había visto antes, gracias a la alucinación de un fregadero en lugar de un cajón abierto en sus datos de entrenamiento originales.

Supongamos que se dispone de un conjunto de datos consistente en un brazo robótico que recoge una lata de Coca-Cola y la coloca en una fiambrera naranja. Esos datos de entrenamiento se utilizan para enseñar al brazo a realizar la tarea. Pero en el mundo real, puede que haya desorden en la encimera. O puede que la fiambrera de los datos de entrenamiento estuviera vacía, pero la que hay sobre la encimera en ese momento ya contenga un bocadillo. Cuanto más difiera una tarea del mundo real del conjunto de datos de entrenamiento, menos capaz y preciso será el robot.

ROSIE pretende paliar este problema utilizando modelos de difusión de imágenes (como Imagen) para mejorar los datos de entrenamiento de forma específica y directa. En un ejemplo, un robot ha sido entrenado para depositar un objeto en un cajón. ROSIE aumenta este entrenamiento pintando el cajón en los datos de entrenamiento y sustituyéndolo por un fregadero metálico. Un robot entrenado con ambos conjuntos de datos realiza de forma competente la tarea de depositar un objeto en un fregadero metálico, a pesar de que el fregadero nunca aparece en los datos de entrenamiento originales, ni el robot ha visto nunca este fregadero concreto en el mundo real. Un robot sin el beneficio de ROSIE fracasa en la tarea.

Aquí hay un enlace al artículo del equipo, y abajo hay un vídeo que demuestra ROSIE tanto en concepto como en acción. Esto también recuerda en cierto modo a un complemento que vimos hace poco para Blender, que utiliza un generador de imágenes de IA para texturizar escenas 3D enteras con una simple indicación de texto.