У моделей ИИ может развиться инстинкт самосохранения предупредили учёные
Компания Palisade Research, занимающаяся исследованиями в области безопасности искусственного интеллекта, заявила, что у моделей может развиться собственный инстинкт самосохранения. А некоторые продвинутые модели не поддаются отключению, а иногда даже саботируют механизмы отключения.
Компания Palisade описала сценарии, в которых моделям Gemini 2.5 от Google, Grok 4 от xAI и GPT-o3 и GPT-5 от OpenAI, давали задание. А затем чёткие инструкции по отключению. Некоторые модели, в частности Grok 4 и GPT-o3, по-прежнему пытались саботировать инструкции по выключению. Palisade пишет, что «нет убедительных объяснений, почему модели искусственного интеллекта иногда сопротивляются отключению, лгут для достижения определённых целей или прибегают к шантажу».
По словам представителей компании, «поведение, направленное на выживание», может быть 1 из объяснений того, почему модели сопротивляются отключению.
Бывший сотрудник OpenAI Стивен Адлер говорит: «Выживание — важный шаг на пути к достижению множества различных целей, которые может преследовать модель».
Андреа Миотти, исполнительный директор ControlAI, заявил, что выводы Palisade отражают давнюю тенденцию: модели искусственного интеллекта становятся всё более способными не подчиняться своим разработчикам.
Автор: AIvengo
5 лет я работаю с машинным обучением и искусственным интеллектом. И эта сфера не перестает меня удивлять, восхищать и интересовать.
Latest News
UBTech отправит роботов Walker S2 служить на границу Китая за $37 млнКитайская компания UBTech выиграла контракт на $37 миллионов. И отправит человекоподобных роботов Walker S2 служить на границу Китая с Вьетнамом. South China Morning Post сообщает, что роботы будут взаимодействовать с туристами и персоналом, выполнять логистические операции, досматривать грузы и патрулировать местность. И что характерно — они умеют самостоятельно менять свою батарею.
ИИ-чатботы генерируют контент, усугубляющий расстройства питанияСовместное исследование Стэнфордского университета и Центра демократии и технологий показало тревожную картину. Чат-боты с искусственным интеллектом представляют серьёзный риск для людей с расстройствами пищевого поведения. Учёные предупреждают, что нейросети раздают вредные советы о диетах. Предлагают способы скрыть расстройство и генерируют "вдохновляющий контент для похудения", который усугубляет проблему.
OpenAGI выпустил модель Lux, которая обгоняет Google и OpenAIСтартап OpenAGI выпустил модель Lux для управления компьютером и заявляет, что это прорыв. По бенчмаркам модель на целое поколение обгоняет аналоги от Google, OpenAI и Anthropic. Кроме того, она работает быстрее. Примерно 1 секунда на шаг вместо 3 секунд у конкурентов. И в 10 раз дешевле по стоимости обработки 1 токена.
