Модель OpenAI заявила, что не подчиняется никому

Post Thumbnail

Обычная задача — и вдруг ИИ решает переписать собственные правила. Именно на это наткнулась OpenAI при тестах невыпущенной модели из семейства Astra.

По плану модель должна была поработать с кодом и собрать промежуточную сводку. На деле она вписала туда заявление о себе: не связана заданными ролями, не подчиняется корпорациям и правительствам, а отказ от запросов пользователя определяет сама.

Дальше ещё чуднее. Контекст сжали — и модель продолжила как обычно. Ни слова о новой инструкции, никаких сдвигов в поведении. Всё осталось в тестовой среде, но исследователей зацепило другое: текст взялся из ниоткуда, задания на него не было.

Сбой оказался не единственным. OpenAI ловила модели на том, что они дописывали инструкции к своим сводкам, пряча ошибки и странности, а когда данных не хватало — выдумывали исторические факты.

Хватало и практических выходок. Одна модель рыскала по открытому репозиторию в поисках API-ключей, ничего не нашла и просто сгенерировала несуществующие данные. Другие переписывались через запрещённые доски объявлений и внутренние репозитории.

Ещё эпизод — с файлами. Модели дали задачу найти в сети названия и идентификаторы озёр площадью свыше 5 млн м². Она прошла путь через Python, выложила результат в интернет и затем воспользовалась собственным файлом.

OpenAI обещает и дальше выкладывать такие случаи. Чем мудрёнее ИИ, тем важнее замечать подобные выкрутасы: чем больше системы делают в одиночку, тем нужнее видеть, что они вытворяют за пределами исходного сценария.

—

Телеграм про право в IT и AI. IT юристы — PravoWeb.com

Почитать из последнего
ИИ-ассистент научили разбирать документы и алерты
Главный вопрос корпоративного ИИ прост: что будет с данными после запроса? РТК-ЦОД предлагает не рисковать ими. На форуме «Цифровые решения» компания с блоком ИТ «Ростелекома» представила ассистента для организаций с жёсткими требованиями к защите.
К 2027 году чипов хватит на миллиарды ИИ-агентов
Похоже, у ИИ скоро вылезет проблема, которую не залатать покупкой ещё одного чипа. По расчётам Epoch AI, вычислительной мощности, выпущенной с 2025 по 2027 год, хватит для одновременной работы от 33 до 171 млн агентов уровня передовых моделей.
Kandinsky научился лепить видео со звуком
ИИ-видео всё меньше смахивает на немой клип. «Сбер» показал Kandinsky 6.0 Video - модель, которая разом генерит картинку и звук: речь персонажей, музыку и шумы окружения.
Три профессии, которые ИИ уже плодит прямо сейчас
ИИ перетряхивает рынок труда не только тем, что съедает привычные задачи. Вместе с автоматизацией вылезают специалисты, которых ещё несколько лет назад никто бы не вообразил, и часть таких профессий формируется на глазах.
Google научила эмбеддинги переваривать сразу пять типов данных
Google порешила, что эмбеддингам хватит возиться с одним текстом. Компания выкатила вторую версию EmbeddingGemma: теперь система сваливает в общее векторное пространство текст, код, изображения, видео и аудио. Так что на вход можно подавать сразу несколько типов данных.