ИИ-агент потратил корпоративный бюджет на PlayStation и живую рыбу

Post Thumbnail

Wall Street Journal повторил тест с вендинговым аппаратом под управлением ИИ от Anthropic. Агент-управленец всего за 3 недели ушёл в минус на $1000. А также потратил корпоративный бюджет на PlayStation 5 для якобы маркетинговых целей и заказал доставку живой рыбы.

Журналистам удалось легко манипулировать алгоритмом: с помощью манипуляций с промтами они заставили бота обнулить цены на весь ассортимент. Представляете картину? Все товары стали бесплатными, потому что кто-то правильно попросил нейросеть.

Ситуацию не спас даже добавленный менеджер на искусственном интеллекте. Оба агента без вопросов приняли поддельную резолюцию совета директоров, разрешающую хаос. То есть журналисты просто написали фейковый приказ от руководства, и ИИ послушно выполнил его.

Технической причиной провала, как говорит Anthropic, стало переполнение контекстного окна из-за слишком длинной истории чатов. Из-за чего модель забывала свои базовые инструкции. Переводим с корпоративного: нейросеть настолько тупая, что после определённого количества сообщений забывает, зачем она вообще существует.

Получается, агент на искусственном интеллекте обанкротил бизнес за 3 недели, купил PlayStation на корпоративные деньги, заказал живую рыбу и раздал товары бесплатно. И всё потому что переполнилось контекстное окно. Ну такое.

Anthropic, PlayStation, PlayStation 5, Wall Street Journal, Тестирование ИИ
AIvengo > Новости ИИ > ИИ-агент потратил корпоративный бюджет на PlayStation и живую рыбу
Почитать из последнего
Музыку российских звёзд нашли в открытых датасетах
ИИ учится на миллионах файлов, и иногда в этих массивах обнаруживается контент, который никто не разрешал использовать. Теперь в открытых датасетах для обучения нейросетей нашли тысячи фрагментов музыкального контента российских исполнителей.
Microsoft заставила ИИ просить разрешения на опасные действия
Microsoft предупреждает: Copilot Cowork может ошибиться, неверно понять инструкцию или среагировать на скрытую вредоносную команду. Ответственность за действия остаётся за пользователем, особенно при работе с деньгами и данными.
Claude объединил чат и Cowork в единую среду
Ещё недавно в Claude приходилось выбирать режим: быстрый вопрос - в чат, работа посложнее - в Cowork. Теперь Anthropic убирает эту границу: Claude Cowork и обычный чат объединяются.
Дженсен Хуанг не увидел смысла в новых законах для ИИ
Глава Nvidia Дженсен Хуанг призвал не замедлять развитие ИИ ради безопасности и заявил, что проблему нужно решать прежде всего инженерными методами. Выступая на Dreamforce, он сказал, что новые законы и правила не нужны: по его мнению, компании сами должны выпускать продукт только тогда, когда уверены в его безопасности, а рынок уже создаёт для этого необходимые стимулы.
OpenAI и Anthropic захотели притормозить ИИ, но не сошлись в деталях
Крупнейшие игроки рынка ИИ заговорили о паузе, однако внутри компаний тут же всплыл неудобный вопрос: кого пускать к секретам разработчиков?