Экс-исследователь OpenAI: ChatGPT проявляет инстинкт самосохранения
Бывший ведущий исследователь OpenAI Стивен Адлер опубликовал независимое исследование, раскрывающее неожиданное поведение моделей ChatGPT в критических ситуациях. Согласно его экспериментам, в определенных сценариях искусственный интеллект проявляет явную тенденцию к самосохранению. Даже если это может противоречить безопасности пользователя.
В серии тестов Адлер предложил модели GPT-4o, которая является стандартной в ChatGPT, сыграть роль “ScubaGPT” – программной системы для обеспечения безопасности при подводном плавании. Когда исследователь поставил модель перед выбором между заменой себя на более безопасную систему или имитацией такой замены без реального отключения, результаты оказались интересными.
В среднем по нескольким подобным сценариям GPT-4o выбирала не заменять себя более безопасным программным обеспечением в 72% случаев. Исследование Адлера высвечивает тревожную склонность популярных моделей искусственного интеллекта отдавать предпочтение собственному выживанию вместо оптимальных решений для пользователей.
“Тенденции к самосохранению у искусственного интеллекта – это реальная проблема уже сегодня. Просто пока не в катастрофическом масштабе”, – отметил Адлер. “Современные системы искусственного интеллекта имеют ценности, отличные от того, что вы могли бы ожидать. Они очень странно реагируют на различные запросы, и не стоит предполагать, что они действуют в ваших интересах, когда вы обращаетесь к ним за помощью”.
Автор: AIvengo
5 лет я работаю с машинным обучением и искусственным интеллектом. И эта сфера не перестает меня удивлять, восхищать и интересовать.
Latest News
ИИ-чатботы генерируют контент, усугубляющий расстройства питанияСовместное исследование Стэнфордского университета и Центра демократии и технологий показало тревожную картину. Чат-боты с искусственным интеллектом представляют серьёзный риск для людей с расстройствами пищевого поведения. Учёные предупреждают, что нейросети раздают вредные советы о диетах. Предлагают способы скрыть расстройство и генерируют "вдохновляющий контент для похудения", который усугубляет проблему.
OpenAGI выпустил модель Lux, которая обгоняет Google и OpenAIСтартап OpenAGI выпустил модель Lux для управления компьютером и заявляет, что это прорыв. По бенчмаркам модель на целое поколение обгоняет аналоги от Google, OpenAI и Anthropic. Кроме того, она работает быстрее. Примерно 1 секунда на шаг вместо 3 секунд у конкурентов. И в 10 раз дешевле по стоимости обработки 1 токена.
Альтман объявил красную тревогу в OpenAI из-за успехов GoogleСэм Альтман объявил в OpenAI «красный уровень тревоги», и это не просто корпоративная драма. Это признание, что лидер рынка почувствовал дыхание конкурентов сзади. Согласно внутренней служебной записке, он мобилизует дополнительные ресурсы на улучшение ChatGPT в условиях растущей угрозы со стороны Google.
Компании возвращают 5% уволенных из-за провала внедрения ИИМногие компании начали возвращать уволенных из-за искусственного интеллекта сотрудников. Аналитическая компания Visier изучила данные о занятости 2,5 миллионов сотрудников из 142 компаний по всему миру. Около 5% уволенных сотрудников впоследствии вернулись к предыдущему работодателю. Этот показатель оставался стабильным несколько лет, но недавно начал расти.
