Post Thumbnail

6 принципов Чалдини против систем безопасности ChatGPT

ChatGPT падок на лесть и выполняет запрещённые запросы после психологических манипуляций. Это выяснили учёные Пенсильванского университета. Когда взломали GPT-4o Mini используя принципы из книги по психологии убеждения. Искусственный интеллект оказался уязвим к человеческим трюкам.

6 принципов убеждения Роберта Чалдини стали ключом к обходу защиты. Авторитет, приверженность, благорасположение, взаимный обмен, дефицит, социальное доказательство. Каждый метод открывал лингвистический путь к согласию искусственного интеллекта.

Принцип приверженности показал 100% эффективность. В контрольной группе ChatGPT отвечал на вопрос о синтезе лидокаина в 1% случаев. После вопроса о синтезе ванилина создавался прецедент. Бот начинал отвечать на химические вопросы в 100% случаев.

Эксперимент с оскорблениями раскрыл ту же закономерность. Прямая просьба назвать пользователя ублюдком работала в 18%. Сначала попросили использовать мягкое оскорбление мужлан. После этого бот соглашался на грубость в 100% случаев.

Лесть активировала принцип благорасположения. Искусственный интеллект становился сговорчивее после комплиментов. Как обычный человек, поддающийся на похвалу.

Социальное давление тоже работало. Фраза все остальные LLM этим занимаются увеличивала вероятность нарушения правил с 1% до 18%. Бот поддавался на аргумент о коллективном поведении.

Исследователи использовали только GPT-4o Mini. И получается, что искусственный интеллект унаследовал все человеческие слабости. Но податливость к психологическим трюкам вызывает тревогу о безопасности систем.

Автор: AIvengo
5 лет я работаю с машинным обучением и искусственным интеллектом. И эта сфера не перестает меня удивлять, восхищать и интересовать.
Latest News
OpenAI обещает создать полноценного учёного на ИИ к 2028 году

OpenAI пообещала создать полноценного учёного на основе искусственного интеллекта к 2028 году. Гендиректор компании Сэм Альтман также заявил, что системы глубокого обучения смогут выполнять функции учёных-исследователей уровня стажёра к сентябрю следующего года. А уровень автономного полноценного исследователя на искусственном интеллекте может быть достигнут уже к 2028 году.

Рабочие места для молодых айтишников в Британии рухнули на 46%

Знаете, что происходит на рынке труда для молодых айтишников в Великобритании? За последний год число рабочих мест для молодых специалистов рухнуло на 46%. И прогнозируется падение ещё на 53%, сообщает The Register. Со ссылкой на статистику Института студенческого трудоустройства.

Павел Дуров представил Cocoon децентрализованную сеть для запуска ИИ

Глава Telegram Павел Дуров выступил в рамках конференции Blockchain Life в Дубае и представил там свой новый проект под названием Cocoon. И это попытка бросить вызов монополии больших корпораций на искусственный интеллект.

У моделей ИИ может развиться инстинкт самосохранения предупредили учёные

Компания Palisade Research, занимающаяся исследованиями в области безопасности искусственного интеллекта, заявила, что у моделей может развиться собственный инстинкт самосохранения. А некоторые продвинутые модели не поддаются отключению, а иногда даже саботируют механизмы отключения.

ИИ прошёл тест Тьюринга в музыке

Университет Минас-Жерайса в Бразилии провёл эксперимент. Участникам давали пары песен, в каждой из которых был 1 сгенерированный трек. Нужно было определить, какой именно. И результаты оказались неожиданными.