Gemini Robotics: neuer Ansatz zur KI-Robotersteuerung

Google stellte das Gemini Robotics-System vor, das KI-Agenten in die physische Welt bringt. Das Unternehmen entwickelte ein verbessertes Agentensystem zur Robotersteuerung. Fähig, besser zu denken und zu planen, mit Menschen zu interagieren und Tools wie Websuche zu nutzen.

Innerhalb des Systems arbeiten gleichzeitig 2 Modelle. Gemini Robotics-ER 1.5 und Gemini Robotics 1.5 erfüllen verschiedene Funktionen in der Robotersteuerung. Das erste Modell dient als hochrangiges Gehirn, analysiert Umgebung und Handlungen oder Befehle von Menschen, erstellt detaillierten Aufgabenausführungsplan und ruft bei Bedarf Tools auf.

Gemini Robotics 1.5 agiert als Ausführer, der Anweisungen in präzise Motorbefehle für den Roboter umwandelt. Zum Beispiel, bei Anfrage Müll korrekt zu sortieren basierend auf Nutzerstandort arbeitet das System stufenweise.

Gemini Robotics-ER 1.5 analysiert Anfrage, greift auf Internet zu um Müllsortierungsregeln in bestimmtem Land zu verstehen. Bewertet vorhandenen Müll und gibt Befehle wie Flasche in linken Haufen, Serviette in rechten. Das Modell gibt Trace seiner Überlegung aus, macht System interpretierbarer.

Gemini Robotics 1.5 nimmt Befehle von ER entgegen und wandelt sie in präzise Bewegungstrajektorien um. Wenn sich während des Prozesses etwas in der Umgebung ändert, bemerkt ER dies und korrigiert Anweisungen. Bei Änderung der Roboterform muss gesamtes System nicht angepasst werden, es reicht zweites Modell einzustellen.

Gemini Robotics 1.5 ist ein Vision-Language-Action-Modell, das visuelle Informationen und Anweisungen in Roboterbefehle umwandelt, vor Handlung nachdenkt und seinen Prozess erklärt. Gemini Robotics-ER 1.5 ist verantwortlich für Planung und logische Entscheidungen, kann digitale Tools aufrufen und schrittweise Pläne erstellen.

Die Modelle ermöglichen Robotern, komplexe mehrstufige Aufgaben auszuführen, von verschiedenen Gerätetypen zu lernen und transparenter und sicherer zu handeln.