Microsoft descubrió vulnerabilidades de agentes de IA a manipulación en simulación
Microsoft creó entorno de simulación para probar agentes de IA – y descubrió debilidades inesperadas. Estudio, realizado conjuntamente con Universidad de Arizona, mostró que modelos de agentes actuales son vulnerables a manipulación.
Entorno de simulación recibió nombre «Magentic Marketplace». Experimento típico se ve así. Agente cliente intenta ordenar cena según instrucciones de usuario, mientras agentes de varios restaurantes compiten por pedido. Experimentos iniciales involucraron 100 agentes en lado de cliente y 300 en lado de negocio.
Directora gerente de AI Frontiers Lab en Microsoft Research Ece Kamar explica importancia de tal investigación. Cita: «Realmente está pregunta de cómo cambiará mundo cuando estos agentes comiencen a colaborar, comunicarse entre sí y negociar. Queremos entender profundamente estas cosas».
Estudio cubrió modelos líderes, incluyendo GPT-4o, GPT-5 y Gemini-2.5-Flash, y descubrió debilidades sorprendentes. Investigadores encontraron varias técnicas para manipular agentes compradores. Particularmente notable fue caída en eficiencia al aumentar número de opciones.
«Queremos que estos agentes ayuden a procesar muchas opciones», dice Kamar. «Y vemos que modelos actuales realmente se abruman por demasiadas opciones». Agentes también enfrentaron problemas al trabajar juntos en objetivo común – modelos no entendían qué agente debería jugar qué rol.
