Экс-исследователь OpenAI: ChatGPT проявляет инстинкт самосохранения
Бывший ведущий исследователь OpenAI Стивен Адлер опубликовал независимое исследование, раскрывающее неожиданное поведение моделей ChatGPT в критических ситуациях. Согласно его экспериментам, в определенных сценариях искусственный интеллект проявляет явную тенденцию к самосохранению. Даже если это может противоречить безопасности пользователя.
В серии тестов Адлер предложил модели GPT-4o, которая является стандартной в ChatGPT, сыграть роль “ScubaGPT” – программной системы для обеспечения безопасности при подводном плавании. Когда исследователь поставил модель перед выбором между заменой себя на более безопасную систему или имитацией такой замены без реального отключения, результаты оказались интересными.
В среднем по нескольким подобным сценариям GPT-4o выбирала не заменять себя более безопасным программным обеспечением в 72% случаев. Исследование Адлера высвечивает тревожную склонность популярных моделей искусственного интеллекта отдавать предпочтение собственному выживанию вместо оптимальных решений для пользователей.
“Тенденции к самосохранению у искусственного интеллекта – это реальная проблема уже сегодня. Просто пока не в катастрофическом масштабе”, – отметил Адлер. “Современные системы искусственного интеллекта имеют ценности, отличные от того, что вы могли бы ожидать. Они очень странно реагируют на различные запросы, и не стоит предполагать, что они действуют в ваших интересах, когда вы обращаетесь к ним за помощью”.
Автор: AIvengo
5 лет я работаю с машинным обучением и искусственным интеллектом. И эта сфера не перестает меня удивлять, восхищать и интересовать.
Угрозы и $1 трлн не улучшают работу нейросетейВы наверняка видели эти "секретные трюки" для управления нейросетями. Такие как угрозы, обещания наград, эмоциональные манипуляции. Но работают ли они на самом деле? Исследователи из Пенсильванского университета и Уортонской школы бизнеса провели масштабный эксперимент с 5 передовыми моделями: Gemini 1.5 Flash, Gemini 2.0 Flash, GPT-4o, GPT-4o-mini и GPT o4-mini.
Anthropic интегрировал Opus 4.1 в Claude Code и облачные платформыAnthropic выпустил Claude Opus 4.1. Это не просто очередной апдейт, а существенное улучшение кодинговых способностей и агентского функционала. Что особенно радует — новая версия интегрирована не только в классический интерфейс Claude, но и в инструмент Claude Code. А также доступна через API, Amazon Bedrock и Google Cloud Vertex AI.
Samsung ищет замену Google Gemini для Galaxy S26Samsung Electronics, 1 из ведущих производителей мобильных устройств, активно ищет альтернативы Google Gemini для своей будущей линейки Galaxy S26. Компания ведёт переговоры с OpenAI и Perplexity, стремясь расширить экосистему искусственного интеллекта в своих устройствах.
Как языковые модели передают знания через случайные числаВы когда-нибудь задумывались, могут ли числа хранить знания? Учёные обнаружили удивительное явление. Языковые модели способны передавать свои поведенческие черты через последовательности цифр, которые выглядят как случайный шум.