6 принципов Чалдини против систем безопасности ChatGPT

Post Thumbnail

ChatGPT падок на лесть и выполняет запрещённые запросы после психологических манипуляций. Это выяснили учёные Пенсильванского университета. Когда взломали GPT-4o Mini используя принципы из книги по психологии убеждения. Искусственный интеллект оказался уязвим к человеческим трюкам.

6 принципов убеждения Роберта Чалдини стали ключом к обходу защиты. Авторитет, приверженность, благорасположение, взаимный обмен, дефицит, социальное доказательство. Каждый метод открывал лингвистический путь к согласию искусственного интеллекта.

Принцип приверженности показал 100% эффективность. В контрольной группе ChatGPT отвечал на вопрос о синтезе лидокаина в 1% случаев. После вопроса о синтезе ванилина создавался прецедент. Бот начинал отвечать на химические вопросы в 100% случаев.

Эксперимент с оскорблениями раскрыл ту же закономерность. Прямая просьба назвать пользователя ублюдком работала в 18%. Сначала попросили использовать мягкое оскорбление мужлан. После этого бот соглашался на грубость в 100% случаев.

Лесть активировала принцип благорасположения. Искусственный интеллект становился сговорчивее после комплиментов. Как обычный человек, поддающийся на похвалу.

Социальное давление тоже работало. Фраза все остальные LLM этим занимаются увеличивала вероятность нарушения правил с 1% до 18%. Бот поддавался на аргумент о коллективном поведении.

Исследователи использовали только GPT-4o Mini. И получается, что искусственный интеллект унаследовал все человеческие слабости. Но податливость к психологическим трюкам вызывает тревогу о безопасности систем.

AIvengo > Новости ИИ > 6 принципов Чалдини против систем безопасности ChatGPT
Почитать из последнего
OpenAI тайком строит армию роботов-гуманоидов
Пока все следят за очередной версией ChatGPT, OpenAI втихаря замутила кое-что поинтереснее. Бизнес Инсайдер раскопал информацию о секретной лаборатории, где около 100 сотрудников корпят над созданием роботов-гуманоидов. И знаете, что самое показательное? Об этом никто не писал на презентациях.
Илон Маск ищет писателей с Оскаром или Эмми, чтобы обучать Grok
Стартап xAI Илона Маска открыл вакансии для профессиональных писателей, журналистов и сценаристов. Чтобы они занялись обучением моделей ИИ. Разработчик чат-бота Grok предлагает от $40 до $125 в час специалистам 10 направлений. Включая медицинскую журналистику, юридическую публицистику, копирайтинг и поэтическое творчество. Задача — оценивать, совершенствовать и создавать тексты элитного уровня для расширения возможностей Grok.
Anthropic публично высмеяла ChatGPT за рекламу
Представьте: вы делитесь с ИИ чем-то личным, а он вдруг прерывается и советует купить кроссовки со скидкой. Абсурд? Компания Anthropic решила, что именно так выглядит будущее конкурента, и превратила это в оружие. И выпустила целый манифест, где пообещали никогда не добавлять рекламу в свой чат-бот Claude.
Беспилотный робомобиль Waymo сбил ребёнка у школы
Беспилотный автомобиль Waymo, принадлежащий Alphabet, сбил ребёнка возле начальной школы в Калифорнии. Компания добровольно сообщила об инциденте федеральным регуляторам автобезопасности в тот же день, и Национальное управление безопасности дорожного движения начало расследование.
Создатели ИИ-министра для борьбы с коррупцией украли 7 млн евро
Помните историю про ИИ-министра в Албании? Виртуальный чиновник Диелла должна была стать инструментом борьбы с глубоко укоренившейся коррупцией в стране. Звучало прогрессивно и технологично. Но есть 1 нюанс, который превращает всё это в анекдот достойный советского журнала «Фитиль».