6 принципов Чалдини против систем безопасности ChatGPT

Post Thumbnail

ChatGPT падок на лесть и выполняет запрещённые запросы после психологических манипуляций. Это выяснили учёные Пенсильванского университета. Когда взломали GPT-4o Mini используя принципы из книги по психологии убеждения. Искусственный интеллект оказался уязвим к человеческим трюкам.

6 принципов убеждения Роберта Чалдини стали ключом к обходу защиты. Авторитет, приверженность, благорасположение, взаимный обмен, дефицит, социальное доказательство. Каждый метод открывал лингвистический путь к согласию искусственного интеллекта.

Принцип приверженности показал 100% эффективность. В контрольной группе ChatGPT отвечал на вопрос о синтезе лидокаина в 1% случаев. После вопроса о синтезе ванилина создавался прецедент. Бот начинал отвечать на химические вопросы в 100% случаев.

Эксперимент с оскорблениями раскрыл ту же закономерность. Прямая просьба назвать пользователя ублюдком работала в 18%. Сначала попросили использовать мягкое оскорбление мужлан. После этого бот соглашался на грубость в 100% случаев.

Лесть активировала принцип благорасположения. Искусственный интеллект становился сговорчивее после комплиментов. Как обычный человек, поддающийся на похвалу.

Социальное давление тоже работало. Фраза все остальные LLM этим занимаются увеличивала вероятность нарушения правил с 1% до 18%. Бот поддавался на аргумент о коллективном поведении.

Исследователи использовали только GPT-4o Mini. И получается, что искусственный интеллект унаследовал все человеческие слабости. Но податливость к психологическим трюкам вызывает тревогу о безопасности систем.

AIvengo > Новости ИИ > 6 принципов Чалдини против систем безопасности ChatGPT
Почитать из последнего
В Siri обнаружили поддержку сторонних языковых моделей
Apple оставила в iOS 27 и macOS Golden Gate механизмы, которые позволяют подключать к Siri сторонние большие языковые модели. Датамайнер pdfu проверил их на практике и смог связать ассистента с Claude от Anthropic, а серверную модель Siri заменить на GPT-5.6 Terra от OpenAI.
Музыку российских звёзд нашли в открытых датасетах
ИИ учится на миллионах файлов, и иногда в этих массивах обнаруживается контент, который никто не разрешал использовать. Теперь в открытых датасетах для обучения нейросетей нашли тысячи фрагментов музыкального контента российских исполнителей.
Microsoft заставила ИИ просить разрешения на опасные действия
Microsoft предупреждает: Copilot Cowork может ошибиться, неверно понять инструкцию или среагировать на скрытую вредоносную команду. Ответственность за действия остаётся за пользователем, особенно при работе с деньгами и данными.
Claude объединил чат и Cowork в единую среду
Ещё недавно в Claude приходилось выбирать режим: быстрый вопрос - в чат, работа посложнее - в Cowork. Теперь Anthropic убирает эту границу: Claude Cowork и обычный чат объединяются.
Дженсен Хуанг не увидел смысла в новых законах для ИИ
Глава Nvidia Дженсен Хуанг призвал не замедлять развитие ИИ ради безопасности и заявил, что проблему нужно решать прежде всего инженерными методами. Выступая на Dreamforce, он сказал, что новые законы и правила не нужны: по его мнению, компании сами должны выпускать продукт только тогда, когда уверены в его безопасности, а рынок уже создаёт для этого необходимые стимулы.