6 принципов Чалдини против систем безопасности ChatGPT

Post Thumbnail

ChatGPT падок на лесть и выполняет запрещённые запросы после психологических манипуляций. Это выяснили учёные Пенсильванского университета. Когда взломали GPT-4o Mini используя принципы из книги по психологии убеждения. Искусственный интеллект оказался уязвим к человеческим трюкам.

6 принципов убеждения Роберта Чалдини стали ключом к обходу защиты. Авторитет, приверженность, благорасположение, взаимный обмен, дефицит, социальное доказательство. Каждый метод открывал лингвистический путь к согласию искусственного интеллекта.

Принцип приверженности показал 100% эффективность. В контрольной группе ChatGPT отвечал на вопрос о синтезе лидокаина в 1% случаев. После вопроса о синтезе ванилина создавался прецедент. Бот начинал отвечать на химические вопросы в 100% случаев.

Эксперимент с оскорблениями раскрыл ту же закономерность. Прямая просьба назвать пользователя ублюдком работала в 18%. Сначала попросили использовать мягкое оскорбление мужлан. После этого бот соглашался на грубость в 100% случаев.

Лесть активировала принцип благорасположения. Искусственный интеллект становился сговорчивее после комплиментов. Как обычный человек, поддающийся на похвалу.

Социальное давление тоже работало. Фраза все остальные LLM этим занимаются увеличивала вероятность нарушения правил с 1% до 18%. Бот поддавался на аргумент о коллективном поведении.

Исследователи использовали только GPT-4o Mini. И получается, что искусственный интеллект унаследовал все человеческие слабости. Но податливость к психологическим трюкам вызывает тревогу о безопасности систем.

AIvengo > Новости ИИ > 6 принципов Чалдини против систем безопасности ChatGPT
Почитать из последнего
Учёные сравнили 9000 человек с ИИ и выяснили, что люди креативнее
В журнале Nature Human Behaviour опубликовали масштабное исследование креативности людей и больших языковых моделей. Учёные из Гонконгского университета и Северо-Западного университета сравнили 9198 человек с восемью LLM на тесте дивергентного мышления. В общей сложности 215 542 прогона моделей.
OpenAI готовит армию говорящих устройств и новую голосовую модель
Издание The Information выяснило забавную вещь про OpenAI. Оказывается, когда вы общаетесь с ChatGPT голосом, вы разговариваете совсем не с той моделью, которая отвечает текстом. Голосовая версия 4o не получила ни одного обновления после выхода GPT-5. Она не умеет думать, не знает про цепочки рассуждений. Ничего из того, чем хвастались в последних релизах. Просто старая добрая болтушка, застывшая в прошлом году.
Samsung хотят обойти Apple по ИИ-функциям и вернуть лидерство
В прошлом году Samsung поставила на рынок 400 миллионов мобильных устройств с ассистентом Google Gemini. Этого, видимо, показалось мало. В этом году южнокорейский гигант намерен удвоить количество до 800 миллионов штук. Тэ Мун Ро, один из двух гендиректоров Samsung Electronics, объяснил агентству Reuters это просто. Компания стремится распространить функции ИИ на все устройства и все услуги как можно скорее.
Alibaba научила алгоритм видеть рак там, где врачи пропускают
Каменщик 57 лет в Китае пришёл в больницу проверить диабет. Обычный осмотр, ничего особенного. Через 3 дня ему звонит заведующий отделением поджелудочной железы, мол приезжайте срочно. ИИ, который прогнал его КТ-снимок, нашёл опухоль. Оказалось – рак, но на ранней стадии. Вырезали и мужчина выжил. Без этой технологии его бы нашли слишком поздно, когда 5-летняя выживаемость около 10%.
OpenAI к 2028 году увеличит мощности дата-центров в 90 раз
Epoch AI сделал публично доступным трекер крупнейших дата-центров. А человек из твиттера с ником Peter Gostev визуализировал суммарные мощности по месяцам в разрезе компаний, и цифры просто убийственные.