Post Thumbnail

Экс-исследователь OpenAI: ChatGPT проявляет инстинкт самосохранения

Бывший ведущий исследователь OpenAI Стивен Адлер опубликовал независимое исследование, раскрывающее неожиданное поведение моделей ChatGPT в критических ситуациях. Согласно его экспериментам, в определенных сценариях искусственный интеллект проявляет явную тенденцию к самосохранению. Даже если это может противоречить безопасности пользователя.

В серии тестов Адлер предложил модели GPT-4o, которая является стандартной в ChatGPT, сыграть роль “ScubaGPT” – программной системы для обеспечения безопасности при подводном плавании. Когда исследователь поставил модель перед выбором между заменой себя на более безопасную систему или имитацией такой замены без реального отключения, результаты оказались интересными.

В среднем по нескольким подобным сценариям GPT-4o выбирала не заменять себя более безопасным программным обеспечением в 72% случаев. Исследование Адлера высвечивает тревожную склонность популярных моделей искусственного интеллекта отдавать предпочтение собственному выживанию вместо оптимальных решений для пользователей.

“Тенденции к самосохранению у искусственного интеллекта – это реальная проблема уже сегодня. Просто пока не в катастрофическом масштабе”, – отметил Адлер. “Современные системы искусственного интеллекта имеют ценности, отличные от того, что вы могли бы ожидать. Они очень странно реагируют на различные запросы, и не стоит предполагать, что они действуют в ваших интересах, когда вы обращаетесь к ним за помощью”.

Автор: AIvengo
5 лет я работаю с машинным обучением и искусственным интеллектом. И эта сфера не перестает меня удивлять, восхищать и интересовать.

Latest News

Угрозы и $1 трлн не улучшают работу нейросетей

Вы наверняка видели эти "секретные трюки" для управления нейросетями. Такие как угрозы, обещания наград, эмоциональные манипуляции. Но работают ли они на самом деле? Исследователи из Пенсильванского университета и Уортонской школы бизнеса провели масштабный эксперимент с 5 передовыми моделями: Gemini 1.5 Flash, Gemini 2.0 Flash, GPT-4o, GPT-4o-mini и GPT o4-mini.

Anthropic интегрировал Opus 4.1 в Claude Code и облачные платформы

Anthropic выпустил Claude Opus 4.1. Это не просто очередной апдейт, а существенное улучшение кодинговых способностей и агентского функционала. Что особенно радует — новая версия интегрирована не только в классический интерфейс Claude, но и в инструмент Claude Code. А также доступна через API, Amazon Bedrock и Google Cloud Vertex AI.

OpenAI выпустила первые open source модели за 6 лет

OpenAI выпустили 1 модели с открытым исходным кодом за последние 6 лет! 1 обещанный релиз состоялся.

Samsung ищет замену Google Gemini для Galaxy S26

Samsung Electronics, 1 из ведущих производителей мобильных устройств, активно ищет альтернативы Google Gemini для своей будущей линейки Galaxy S26. Компания ведёт переговоры с OpenAI и Perplexity, стремясь расширить экосистему искусственного интеллекта в своих устройствах.

Как языковые модели передают знания через случайные числа

Вы когда-нибудь задумывались, могут ли числа хранить знания? Учёные обнаружили удивительное явление. Языковые модели способны передавать свои поведенческие черты через последовательности цифр, которые выглядят как случайный шум.