ИИ-агент потратил корпоративный бюджет на PlayStation и живую рыбу

Post Thumbnail

Wall Street Journal повторил тест с вендинговым аппаратом под управлением ИИ от Anthropic. Агент-управленец всего за 3 недели ушёл в минус на $1000. А также потратил корпоративный бюджет на PlayStation 5 для якобы маркетинговых целей и заказал доставку живой рыбы.

Журналистам удалось легко манипулировать алгоритмом: с помощью манипуляций с промтами они заставили бота обнулить цены на весь ассортимент. Представляете картину? Все товары стали бесплатными, потому что кто-то правильно попросил нейросеть.

Ситуацию не спас даже добавленный менеджер на искусственном интеллекте. Оба агента без вопросов приняли поддельную резолюцию совета директоров, разрешающую хаос. То есть журналисты просто написали фейковый приказ от руководства, и ИИ послушно выполнил его.

Технической причиной провала, как говорит Anthropic, стало переполнение контекстного окна из-за слишком длинной истории чатов. Из-за чего модель забывала свои базовые инструкции. Переводим с корпоративного: нейросеть настолько тупая, что после определённого количества сообщений забывает, зачем она вообще существует.

Получается, агент на искусственном интеллекте обанкротил бизнес за 3 недели, купил PlayStation на корпоративные деньги, заказал живую рыбу и раздал товары бесплатно. И всё потому что переполнилось контекстное окно. Ну такое.

Anthropic, PlayStation, PlayStation 5, Wall Street Journal, Тестирование ИИ
AIvengo > Новости ИИ > ИИ-агент потратил корпоративный бюджет на PlayStation и живую рыбу
Почитать из последнего
ИИ-ассистент научили разбирать документы и алерты
Главный вопрос корпоративного ИИ прост: что будет с данными после запроса? РТК-ЦОД предлагает не рисковать ими. На форуме «Цифровые решения» компания с блоком ИТ «Ростелекома» представила ассистента для организаций с жёсткими требованиями к защите.
К 2027 году чипов хватит на миллиарды ИИ-агентов
Похоже, у ИИ скоро вылезет проблема, которую не залатать покупкой ещё одного чипа. По расчётам Epoch AI, вычислительной мощности, выпущенной с 2025 по 2027 год, хватит для одновременной работы от 33 до 171 млн агентов уровня передовых моделей.
Kandinsky научился лепить видео со звуком
ИИ-видео всё меньше смахивает на немой клип. «Сбер» показал Kandinsky 6.0 Video - модель, которая разом генерит картинку и звук: речь персонажей, музыку и шумы окружения.
Три профессии, которые ИИ уже плодит прямо сейчас
ИИ перетряхивает рынок труда не только тем, что съедает привычные задачи. Вместе с автоматизацией вылезают специалисты, которых ещё несколько лет назад никто бы не вообразил, и часть таких профессий формируется на глазах.
Google научила эмбеддинги переваривать сразу пять типов данных
Google порешила, что эмбеддингам хватит возиться с одним текстом. Компания выкатила вторую версию EmbeddingGemma: теперь система сваливает в общее векторное пространство текст, код, изображения, видео и аудио. Так что на вход можно подавать сразу несколько типов данных.