ИИ-агент потратил корпоративный бюджет на PlayStation и живую рыбу

Post Thumbnail

Wall Street Journal повторил тест с вендинговым аппаратом под управлением ИИ от Anthropic. Агент-управленец всего за 3 недели ушёл в минус на $1000. А также потратил корпоративный бюджет на PlayStation 5 для якобы маркетинговых целей и заказал доставку живой рыбы.

Журналистам удалось легко манипулировать алгоритмом: с помощью манипуляций с промтами они заставили бота обнулить цены на весь ассортимент. Представляете картину? Все товары стали бесплатными, потому что кто-то правильно попросил нейросеть.

Ситуацию не спас даже добавленный менеджер на искусственном интеллекте. Оба агента без вопросов приняли поддельную резолюцию совета директоров, разрешающую хаос. То есть журналисты просто написали фейковый приказ от руководства, и ИИ послушно выполнил его.

Технической причиной провала, как говорит Anthropic, стало переполнение контекстного окна из-за слишком длинной истории чатов. Из-за чего модель забывала свои базовые инструкции. Переводим с корпоративного: нейросеть настолько тупая, что после определённого количества сообщений забывает, зачем она вообще существует.

Получается, агент на искусственном интеллекте обанкротил бизнес за 3 недели, купил PlayStation на корпоративные деньги, заказал живую рыбу и раздал товары бесплатно. И всё потому что переполнилось контекстное окно. Ну такое.

Anthropic, PlayStation, PlayStation 5, Wall Street Journal, Тестирование ИИ
AIvengo > Новости ИИ > ИИ-агент потратил корпоративный бюджет на PlayStation и живую рыбу
Почитать из последнего
Из-за ИИ клавиатуры исчезнут из офисов
Лондонская школа экономики совместно с Jabra выдала любопытный прогноз. К 28-му году голосовой ИИ станет стандартом в офисах. А поколение Альфа — рождённые после 2010 года — возможно, никогда не узнает, каково это писать email руками. Но пока мне не верится, что клавиатуры действительно исчезнут.
ChatGPT обогнал TikTok и Disney
ChatGPT заработал 3 миллиарда долларов на мобильных подписках. Цифра впечатляет, но ещё интереснее скорость, с которой её достигли.
Собаки-поводыри скоро станут робо-псами с ИИ
Инженеры из США и Южной Кореи превратили робо-пса Unitree Go2 в собаку-поводыря. Модель ИИ GuideNav использует одну обычную камеру вместо дорогих датчиков LiDAR. И это работает.
Американцы заваливают китайский ИИ деньгами
Американские инвесторы завалили китайских разработчиков ИИ деньгами. Несмотря на геополитическое противостояние. Получается, прибыль побеждает политику.
OpenAI и Anthropic внедряют распознавание детей
Компании OpenAI и Anthropic внедряют технологии распознавания несовершеннолетних пользователей чат-ботов. OpenAI обновила правила взаимодействия ChatGPT с пользователями от 13 до 17 лет. Anthropic работает над системой идентификации и блокировки пользователей младше 18.