Gemini Robotics : nouvelle approche du contrôle robotique par IA

Google a présenté le système Gemini Robotics, amenant les agents IA dans le monde physique. L’entreprise a développé un système d’agents avancé pour le contrôle des robots. Capable de mieux raisonner et planifier, interagir avec les humains et utiliser des outils comme la recherche web.

À l’intérieur du système, 2 modèles fonctionnent simultanément. Gemini Robotics-ER 1.5 et Gemini Robotics 1.5 remplissent différentes fonctions dans le contrôle robotique. Le premier modèle sert de cerveau de haut niveau, analyse l’environnement et les actions ou commandes humaines, crée un plan détaillé d’exécution de tâches et appelle des outils si nécessaire.

Gemini Robotics 1.5 agit comme exécuteur, transformant instructions en commandes motrices précises pour robot. Par exemple, lorsqu’on demande de trier correctement les déchets basé sur localisation utilisateur, le système fonctionne étape par étape.

Gemini Robotics-ER 1.5 analyse la demande, accède à internet pour comprendre règles de tri des déchets dans pays spécifique. Évalue déchets disponibles et donne commandes comme bouteille dans tas gauche, serviette dans droite. Le modèle produit trace de son raisonnement, rendant système plus interprétable.

Gemini Robotics 1.5 reçoit commandes d’ER et les transforme en trajectoires de mouvement précises. Si quelque chose change dans environnement durant processus, ER le remarque et corrige instructions. Lors de changement de forme du robot, système entier n’a pas besoin d’adaptation, ajuster second modèle suffit.

Gemini Robotics 1.5 est un modèle vision-langage-action, transformant informations visuelles et instructions en commandes robot, réfléchissant avant d’agir et expliquant son processus. Gemini Robotics-ER 1.5 est responsable de planification et décisions logiques, peut appeler outils numériques et créer plans étape par étape.

Les modèles permettent aux robots d’exécuter tâches complexes multi-étapes, apprendre de différents types d’appareils et agir plus transparemment et sûrement.