NVIDIA resolvió el problema de la brecha simulación-realidad en el entrenamiento de robots

Jim Fan, Director de IA en NVIDIA, compartió un impresionante logro de su equipo. Robots humanoides aprendieron a caminar y orientarse en el espacio sin entrenamiento previo en el mundo real.

Todo el entrenamiento se realizó exclusivamente en un entorno virtual. Después de completar la simulación, los robots fueron enviados inmediatamente a realizar tareas en el mundo real. Y las manejaron sin ningún ajuste o adaptación adicional. Lo más sorprendente de este proceso es la increíble compresión del tiempo de aprendizaje. Lo que tomaría 10 años en la realidad se condensó en solo 2 horas de entrenamiento virtual.

¿Cómo lograron los ingenieros de NVIDIA alcanzar tal resultado? Primero, la simulación no tiene limitaciones físicas inherentes al mundo real. Un robot puede caer y levantarse incluso 1.000.000 de veces seguidas sin riesgo de romperse. En la realidad, cada caída podría llevar a daños graves en equipos costosos.

Segundo, en un entorno virtual, el flujo del tiempo puede acelerarse significativamente. La simulación no tiene limitaciones de “tiempo real” – el proceso puede ejecutarse a cualquier velocidad, en la medida que la potencia de cómputo lo permita.

Tercero, los desarrolladores aplicaron el método de aprendizaje paralelo. En un entorno virtual, se pueden ejecutar simultáneamente muchas copias digitales del robot. Y recopilar experiencia de todas ellas a la vez, lo que acelera radicalmente la acumulación de datos para el entrenamiento.

Otro descubrimiento inesperado: modelar movimientos similares a los humanos no requirió redes neuronales gigantescas. Un modelo con 1.500.000 parámetros – ¡no miles de millones! – resultó suficiente para reproducir la “mecánica subconsciente” del cuerpo humano. Esto es varios órdenes de magnitud menor que los modelos de lenguaje modernos.

El desafío clave que los ingenieros de NVIDIA lograron superar se conoce como el problema de la “brecha simulación-realidad”. Usualmente, los robots entrenados en un entorno virtual experimentan dificultades al transitar al mundo real debido a una simulación imperfecta. Sin embargo, el equipo de NVIDIA logró crear un modelo físico tan preciso en el entorno virtual que los robots pudieron aplicar las habilidades adquiridas en la realidad sin ajustes adicionales.