Microsoft entdeckte Schwachstellen von KI-Agenten für Manipulation in Simulation
Microsoft schuf eine Simulationsumgebung zum Testen von KI-Agenten – und entdeckte unerwartete Schwächen. Die Studie, durchgeführt gemeinsam mit der University of Arizona, zeigte, dass aktuelle Agentenmodelle anfällig für Manipulation sind.
Die Simulationsumgebung erhielt den Namen „Magentic Marketplace“. Ein typisches Experiment sieht so aus. Ein Kunden-Agent versucht ein Abendessen gemäß Benutzeranweisungen zu bestellen, während Agenten verschiedener Restaurants um die Bestellung konkurrieren. An anfänglichen Experimenten nahmen 100 Agenten auf Kundenseite und 300 auf Geschäftsseite teil.
Geschäftsführender Direktor des AI Frontiers Lab bei Microsoft Research Ece Kamar erklärt die Wichtigkeit solcher Forschung. Zitat: „Es stellt sich wirklich die Frage, wie sich die Welt verändern wird, wenn diese Agenten beginnen zusammenzuarbeiten, miteinander zu kommunizieren und zu verhandeln. Wir wollen diese Dinge tiefgehend verstehen“.
Die Studie umfasste führende Modelle, einschließlich GPT-4o, GPT-5 und Gemini-2.5-Flash, und entdeckte überraschende Schwächen. Forscher fanden mehrere Techniken zur Manipulation von Käufer-Agenten. Besonders auffällig war der Effizienzrückgang bei zunehmender Anzahl von Optionen.
„Wir wollen, dass diese Agenten helfen, viele Varianten zu verarbeiten“, sagt Kamar. „Und wir sehen, dass aktuelle Modelle wirklich von zu vielen Optionen überfordert werden“. Agenten stießen auch auf Probleme bei der Zusammenarbeit an einem gemeinsamen Ziel – Modelle verstanden nicht, welcher Agent welche Rolle spielen sollte.
