Google et Cambridge ont appris à l’IA à penser avec des images au lieu de texte

Les scientifiques de Google et Cambridge ont présenté une approche fondamentalement nouvelle au travail de l’intelligence artificielle, appelée “Visual Planning”. La particularité de cette technologie est que le modèle pense non pas avec du texte, mais avec des images. Ce qui est beaucoup plus proche de la pensée naturelle humaine, surtout lors de la résolution de tâches spatiales et mathématiques.

Les chercheurs ont publié un article intitulé “Visual Planning: Let’s Think Only with Images”, où ils ont décrit le processus d’entraînement d’un modèle à naviguer dans des labyrinthes en utilisant seulement la pensée visuelle, sans raisonnement textuel. Cette approche imite la capacité des gens à penser avec des schémas et des images lors de la résolution de tâches complexes. Lien dans la description.

L’entraînement du modèle s’est déroulé en deux étapes. D’abord, on lui a montré de nombreuses images de labyrinthes et on lui a appris à prédire toute prochaine étape possible. Par exemple, si sur l’image un agent se trouve dans la cellule B, le modèle devrait générer une nouvelle image où l’agent se déplace vers l’une des cellules voisines disponibles.

À la deuxième étape, les chercheurs ont appliqué l’apprentissage par renforcement. Le modèle recevait une récompense positive pour une étape correcte, zéro — pour incorrecte, et négative — pour une action inadmissible. Ainsi, graduellement il a appris à choisir des chemins optimaux à travers le labyrinthe. En s’appuyant seulement sur des images visuelles.

Les résultats ont dépassé les attentes ! Visual Planning surpasse même un modèle aussi avancé que Gemini 2.5 Pro think d’une fois et demie à deux fois en efficacité de résolution de tâches nécessitant une pensée spatiale. Je suis dans un choc agréable !