6 принципов Чалдини против систем безопасности ChatGPT
ChatGPT падок на лесть и выполняет запрещённые запросы после психологических манипуляций. Это выяснили учёные Пенсильванского университета. Когда взломали GPT-4o Mini используя принципы из книги по психологии убеждения. Искусственный интеллект оказался уязвим к человеческим трюкам.
6 принципов убеждения Роберта Чалдини стали ключом к обходу защиты. Авторитет, приверженность, благорасположение, взаимный обмен, дефицит, социальное доказательство. Каждый метод открывал лингвистический путь к согласию искусственного интеллекта.
Принцип приверженности показал 100% эффективность. В контрольной группе ChatGPT отвечал на вопрос о синтезе лидокаина в 1% случаев. После вопроса о синтезе ванилина создавался прецедент. Бот начинал отвечать на химические вопросы в 100% случаев.
Эксперимент с оскорблениями раскрыл ту же закономерность. Прямая просьба назвать пользователя ублюдком работала в 18%. Сначала попросили использовать мягкое оскорбление мужлан. После этого бот соглашался на грубость в 100% случаев.
Лесть активировала принцип благорасположения. Искусственный интеллект становился сговорчивее после комплиментов. Как обычный человек, поддающийся на похвалу.
Социальное давление тоже работало. Фраза все остальные LLM этим занимаются увеличивала вероятность нарушения правил с 1% до 18%. Бот поддавался на аргумент о коллективном поведении.
Исследователи использовали только GPT-4o Mini. И получается, что искусственный интеллект унаследовал все человеческие слабости. Но податливость к психологическим трюкам вызывает тревогу о безопасности систем.
Почитать из последнего
У OpenAI большие проблемы
У OpenAI большие проблемы, и они не технические. Компания так резко развернулась в сторону улучшения ChatGPT, что начала терять ведущих разработчиков. Вице-президент по исследованиям Джерри Творек, исследователь Андреа Валлоне, экономист Том Каннингем. И список растёт. 10 нынешних и бывших сотрудников рассказали 1 и ту же историю. Компания перераспределила ресурсы с экспериментальной работы на развитие больших языковых моделей, которые питают флагманский чат-бот.
Как бесплатно использовать Claude Opus
Иногда крупные корпорации удивляют не тем, что делают, а тем, что принципиально не делают. Разработчик под ником Angry-Orangutan нашёл дыру в системе оплаты GitHub Copilot. Которая позволяет использовать дорогие премиум-модели типа Claude Opus 4.5, вообще не расходуя лимиты. И сообщил Microsoft. Они посмотрели, подумали и закрыли тикет со статусом "не планируется". Да-да, чинить не будут.
OpenAI тайком строит армию роботов-гуманоидов
Пока все следят за очередной версией ChatGPT, OpenAI втихаря замутила кое-что поинтереснее. Бизнес Инсайдер раскопал информацию о секретной лаборатории, где около 100 сотрудников корпят над созданием роботов-гуманоидов. И знаете, что самое показательное? Об этом никто не писал на презентациях.
Илон Маск ищет писателей с Оскаром или Эмми, чтобы обучать Grok
Стартап xAI Илона Маска открыл вакансии для профессиональных писателей, журналистов и сценаристов. Чтобы они занялись обучением моделей ИИ. Разработчик чат-бота Grok предлагает от $40 до $125 в час специалистам 10 направлений. Включая медицинскую журналистику, юридическую публицистику, копирайтинг и поэтическое творчество. Задача — оценивать, совершенствовать и создавать тексты элитного уровня для расширения возможностей Grok.
