NVIDIA a résolu le problème de l’écart entre simulation et réalité dans la formation des robots

Jim Fan, directeur de l’intelligence artificielle chez NVIDIA, a partagé une réalisation impressionnante de leur équipe. Des robots humanoïdes ont appris à marcher et à s’orienter dans l’espace sans formation préalable dans le monde réel.

Toute la formation a été menée exclusivement dans un environnement virtuel. Après avoir terminé la simulation, les robots ont été immédiatement envoyés pour accomplir des tâches dans le monde réel. Et ils les ont gérées sans aucun ajustement ou adaptation supplémentaire. Le plus surprenant dans ce processus est l’incroyable compression du temps d’apprentissage. Ce qui prendrait 10 ans en réalité a été condensé en seulement 2 heures de formation virtuelle.

Comment les ingénieurs de NVIDIA ont-ils réussi à obtenir un tel résultat ? Premièrement, la simulation n’a pas les limitations physiques inhérentes au monde réel. Un robot peut tomber et se relever même 1 000 000 de fois de suite sans risque de casse. En réalité, chaque chute pourrait entraîner de graves dommages à des équipements coûteux.

Deuxièmement, dans un environnement virtuel, le flux du temps peut être considérablement accéléré. La simulation n’a pas de limitations “temps réel” – le processus peut être exécuté à n’importe quelle vitesse, dans la mesure où la puissance de calcul le permet.

Troisièmement, les développeurs ont appliqué la méthode d’apprentissage parallèle. Dans un environnement virtuel, de nombreuses copies numériques du robot peuvent être exécutées simultanément. Et recueillir l’expérience de tous à la fois, ce qui accélère radicalement l’accumulation de données pour la formation.

Une autre découverte inattendue : la modélisation de mouvements semblables à ceux des humains n’a pas nécessité de réseaux neuronaux gigantesques. Un modèle avec 1 500 000 paramètres – pas des milliards ! – s’est avéré suffisant pour reproduire la “mécanique subconsciente” du corps humain. C’est plusieurs ordres de grandeur plus petit que les modèles linguistiques modernes.

Le défi clé que les ingénieurs de NVIDIA ont réussi à surmonter est connu sous le nom de problème de “l’écart simulation-réalité”. Habituellement, les robots formés dans un environnement virtuel éprouvent des difficultés lors de la transition vers le monde réel en raison d’une simulation imparfaite. Cependant, l’équipe de NVIDIA a réussi à créer un modèle physique si précis dans l’environnement virtuel que les robots ont pu appliquer les compétences acquises dans la réalité sans ajustements supplémentaires.