Microsoft a découvert vulnérabilités des agents IA à la manipulation en simulation
Microsoft a créé un environnement de simulation pour tester les agents IA – et a découvert des faiblesses inattendues. L’étude, menée conjointement avec l’Université d’Arizona, a montré que les modèles d’agents actuels sont vulnérables à la manipulation.
L’environnement de simulation a reçu le nom « Magentic Marketplace ». Une expérience typique ressemble à ceci. Un agent client essaie de commander un dîner selon les instructions de l’utilisateur, tandis que les agents de divers restaurants se font concurrence pour la commande. Les expériences initiales ont impliqué 100 agents côté client et 300 côté entreprise.
La directrice générale du AI Frontiers Lab chez Microsoft Research Ece Kamar explique l’importance de telles recherches. Citation : « Il y a vraiment la question de comment le monde changera quand ces agents commenceront à collaborer, communiquer entre eux et négocier. Nous voulons comprendre profondément ces choses ».
L’étude a couvert des modèles de pointe, incluant GPT-4o, GPT-5 et Gemini-2.5-Flash, et a découvert des faiblesses surprenantes. Les chercheurs ont trouvé plusieurs techniques de manipulation des agents acheteurs. Particulièrement notable était la baisse d’efficacité lors de l’augmentation du nombre d’options.
« Nous voulons que ces agents aident à traiter de nombreuses options », dit Kamar. « Et nous voyons que les modèles actuels sont vraiment submergés par trop d’options ». Les agents ont également rencontré des problèmes lorsqu’ils travaillaient ensemble sur un objectif commun – les modèles ne comprenaient pas quel agent devrait jouer quel rôle.
