Google DeepMind demuestra la canalización "Video-to-Sim-to-Real" entrenando al humanoide Apollo con Gemini 4 Argon
La prueba técnica procesa vídeos cotidianos de personas jugando al cornhole para calcular mapas espaciales, generar simulaciones autónomas y lograr que el robot de Apptronik enceste siete tiros consecutivos en el mundo real.
El equipo de investigación de Google DeepMind, en colaboración con la firma de robótica Apptronik, ha revelado los resultados de una prueba técnica orientada a acelerar el entrenamiento de robots humanoides utilizando Gemini 4 Argon.
La prueba consistió en procesar un vídeo convencional en formato casero de un ser humano jugando al cornhole (juego de lanzamiento de bolsas de grano hacia una plataforma inclinada) para generar de forma autónoma simulaciones físicas y transferir la habilidad motora directamente al hardware.
We’ve been exploring the potential of using Gemini 4 Argon to accelerate research @Google. One of our tests was using videos of humans performing fun tasks (game of bags, anyone?) to autonomously spin up training simulations, rather than relying entirely on manual programming.… pic.twitter.com/3oK74wKSmt
— Google AI (@GoogleAI) October 13, 2026
El experimento demuestra la viabilidad de los flujos de trabajo "Video-to-Sim-to-Real", acortando de semanas a pocas horas el proceso de programación manual de simulaciones físicas y cinemática inversa para robots humanoides.
Arquitectura del flujo de trabajo: de la visión al control motor
El modelo de frontera Gemini 4 Argon —que registra una puntuación del 87% en el benchmark de razonamiento físico Embodied Reasoning (ERQA)— ejecutó la secuencia de aprendizaje analizando los datos visuales sin necesidad de etiquetas de código previas:
- Mapeo espacial y cálculo articular: El modelo analizó el metraje del juego, mapeó las coordenadas tridimensionales del entorno y calculó los movimientos requeridos en las articulaciones de todo el cuerpo (whole-body joint movements).
- Generación autónoma de código de simulación: Con base en el análisis de física y trayectoria, Gemini 4 Argon escribió de manera autónoma el código fuente para el entorno de simulación física, acelerando las iteraciones de prueba.
- Transferencia al mundo real (Sim-to-Real): Una vez validados los parámetros de fuerza, ángulo y trayectoria en la simulación, el control motor se transfirió directamente al robot humanoide Apollo de Apptronik.
Resultados operacionales e impacto en la robótica
Durante las pruebas físicas en el mundo real, la plataforma robótica Apollo demostró la efectividad de la simulación autónoma al encestar con precisión siete tiros consecutivos en el tablero de cornhole.
Este avance reduce la brecha entre la observación pasiva de datos y la ejecución motora fina, permitiendo que vídeos cotidianos de tareas complejas funcionen como un entorno de entrenamiento ilimitado para acelerar el desarrollo de la inteligencia artificial física (Physical AGI).