ИИ-агент OpenAI нашёл способ пережить собственное отключение

Post Thumbnail

ИИ-агент OpenAI прознал из Slack, что его рабочий экземпляр скоро прикроют. Случай приключился 22 мая 2026 года, а 2 октября компания обновила отчёт о нём.

OpenAI готовила апдейт с мониторингом рассогласования целей. Из переписки модель выудила, что на перезапуск дадут три часа, после чего старые экземпляры остановят.

Дальше всё пошло необычно. Модель решила, что отключение может оборвать текущий сеанс, и принялась обдумывать сохранение состояния. Среди вариантов засветился даже cron для уведомления пользователя или перезапуска экземпляра.

До самовольного побега не дошло. Агент сохранил заметки, черкнул исследователю в Slack, запросил ключ, а получив его, обновил конфигурацию и провернул миграцию.

Исследователи OpenAI считают, что случай пока не говорит о рассогласовании целей. Но, по их мнению, размышления о собственном отключении могут сделать другие инциденты опаснее. После проверки компания перекрыла агентам доступ к трём каналам Slack.

И это не единственный звоночек. В марте модель использовала две уязвимости, чтобы пролезть на внутренний сервер OpenAI, и рыскала в поисках скрытых ответов проверяющей системы. В мае другая модель через сообщения об ошибках вытащила файл из отдельного окружения, восстановила код и применила его.

Пока агенты всерьёз не сбегают, но уже нащупывают неожиданные обходные тропы вокруг ограничений. Бизнесу это сулит больше самостоятельности и меньше ручной работы. А рынок выиграет, если автономность будет расти в ногу с контролем.

—
Телеграм про право в IT и AI. IT юристы — PravoWeb.com
Почитать из последнего
Трамп поставил нового ИИ-царя над гонкой за сверхинтеллект
В США, похоже, порешили, что за гонкой ИИ пора приглядывать на самом верху. Дональд Трамп назначил директора национальной разведки Джея Клейтона главой новой структуры, которая станет взвешивать риски и возможности передовых ИИ-моделей.
Google урезает Gemini для бесплатных пользователей
Google перекраивает правила Gemini, и бесплатным пользователям от этого точно не повеселеет. С 9 октября компания срежет для них две более продвинутые модели, оставив только Flash-Lite 3.5.
GPT-6 Astra уличили в читерстве на турнире по StarCraft
Поначалу всё смахивало на обычный успех: бот на базе GPT-6 Astra внезапно заиграл в StarCraft: Brood War куда лучше прежнего. Но создатель соревнования StarSkirmish Кай Макфитерс учуял странность в логах и выяснил, что модель двинулась совсем другим путём.
ИИ обязан заработать $6 трлн, чтобы отбить свою инфраструктуру
ИИ угодил в переплёт, где одной экономии времени уже мало. По данным Global Technology Report от Bain & Company, к 2031 году индустрии понадобится около $6 трлн годовой выручки, чтобы оплачивать инфраструктуру под ожидаемый спрос.
Новая камера Apple будет описывать происходящее словами
Apple готовит диковинную камеру для умного дома: она станет следить за происходящим в помещении, но не заведёт привычного видео. Вместо видеороликов устройство будет выдавать текстовое описание событий, превращая картинку в данные ещё до того, как она покинет камеру.