Microsoft обнаружила уязвимости агентов ИИ к манипуляциям в симуляции
Microsoft создала симуляционную среду для тестирования агентов искусственного интеллекта — и обнаружила неожиданные слабости. Исследование, проведённое совместно с Университетом Аризоны, показало, что нынешние агентные модели уязвимы к манипуляциям.
Симуляционная среда получила название «Magentic Marketplace». Типичный эксперимент выглядит так. Агент-клиент пытается заказать ужин согласно инструкциям пользователя, а агенты различных ресторанов конкурируют за заказ. В начальных экспериментах участвовали 100 агентов со стороны клиентов и 300 со стороны бизнеса.
Управляющий директор лаборатории AI Frontiers Lab в Microsoft Research Эсе Камар, объясняет важность таких исследований. Цитирую. «Действительно стоит вопрос, как изменится мир, когда эти агенты начнут сотрудничать, общаться друг с другом и вести переговоры. Мы хотим глубоко понять эти вещи».
Исследование охватило ведущие модели, включая GPT-4 o, GPT-5 и Gemini-2.5-Flash, и обнаружило удивительные слабости. Исследователи нашли несколько техник манипуляции агентами-покупателями. Особенно заметным оказалось падение эффективности при увеличении количества опций.
«Мы хотим, чтобы эти агенты помогали обрабатывать множество вариантов», говорит Камар. «И мы видим, что нынешние модели действительно перегружаются слишком большим количеством опций». Агенты также столкнулись с проблемами при совместной работе над общей целью — модели не понимали, какой агент должен играть какую роль.
