Post Thumbnail

Экс-исследователь OpenAI: ChatGPT проявляет инстинкт самосохранения

Бывший ведущий исследователь OpenAI Стивен Адлер опубликовал независимое исследование, раскрывающее неожиданное поведение моделей ChatGPT в критических ситуациях. Согласно его экспериментам, в определенных сценариях искусственный интеллект проявляет явную тенденцию к самосохранению. Даже если это может противоречить безопасности пользователя.

В серии тестов Адлер предложил модели GPT-4o, которая является стандартной в ChatGPT, сыграть роль “ScubaGPT” – программной системы для обеспечения безопасности при подводном плавании. Когда исследователь поставил модель перед выбором между заменой себя на более безопасную систему или имитацией такой замены без реального отключения, результаты оказались интересными.

В среднем по нескольким подобным сценариям GPT-4o выбирала не заменять себя более безопасным программным обеспечением в 72% случаев. Исследование Адлера высвечивает тревожную склонность популярных моделей искусственного интеллекта отдавать предпочтение собственному выживанию вместо оптимальных решений для пользователей.

“Тенденции к самосохранению у искусственного интеллекта – это реальная проблема уже сегодня. Просто пока не в катастрофическом масштабе”, – отметил Адлер. “Современные системы искусственного интеллекта имеют ценности, отличные от того, что вы могли бы ожидать. Они очень странно реагируют на различные запросы, и не стоит предполагать, что они действуют в ваших интересах, когда вы обращаетесь к ним за помощью”.

Автор: AIvengo
5 лет я работаю с машинным обучением и искусственным интеллектом. И эта сфера не перестает меня удивлять, восхищать и интересовать.
Latest News
Майкл Бэрри поставил 1,1 млрд долларов против Nvidia и Palantir

Майкл Бэрри - это легендарный инвестор, который предсказал ипотечный кризис 2008 года. И вот он снова делает громкий ход. Майкл поставил 1,1 млрд долларов в пут-опционах против 2 крупных компаний из сектора искусственного интеллекта. Это Nvidia и Palantir.

XPeng представила первого в мире робота-гуманоида женщину

Китайский производитель электромобилей XPeng представил робота-гуманоида нового поколения IRON. И это 1 женщина гуманоид!

Anthropic проводит интервью с моделями перед отправкой на пенсию

Anthropic опубликовала политику "вывода из строя" устаревших версий искусственного интеллекта. Ключевое обязательство - это сохранять веса всех публичных и активно используемых внутри моделей минимум на срок жизни компании. Чтобы в будущем можно было вернуть доступ при необходимости.

Глава Nvidia считает, что ИИ-пузыря - нет

Основатель Nvidia Дженсен Хуанг развеял опасения по поводу пузыря на рынке искусственного интеллекта. И по его словам, новейшие чипы компании, как ожидается, принесут 0,5 трлн долларов дохода.

Сэм Альтман устал от вопросов о деньгах

Сэм Альтман устал от вопросов о деньгах OpenAI. И это стало очевидно во время совместного интервью с Сатьей Наделлой на подкасте Bg2.