Исследователи взломали 12 систем защиты ИИ

Знаете, что только что выяснили исследователи из OpenAI, Anthropic, Google DeepMind и Гарварда? Они попытались сломать популярные системы безопасности искусственного интеллекта и почти везде нашли обход. Проверяли 12 распространённых подходов к защите. От умных формулировок системного промпта до внешних фильтров, которые должны ловить опасные запросы.

Было использовано 3 варианта автоматического перебора, в том числе с обучением с подкреплением и ассистентом на основе искусственного интеллекта.

В большинстве тестов успешными были 90% попыток взлома, а местами этот показатель доходил до 98%. Банальный перебор формулировок ломал любые системы защиты. Ненадёжными оказались даже внешние фильтры опасных промптов — их просто запутывали языковыми трюками.

Авторы взяли 12 популярных защитных механизмов вроде Spotlighting, PromptGuard, MELON, Circuit Breakers и других, и продемонстрировали, что каждый можно обойти с успехом 90%. Даже если заявляется 0% успешных атак.

А всё дело в том, как мы измеряем качество алгоритмов. В большинстве работ механику наивно прогоняют по фиксированному набору известных джейлбрейков, никак не учитывающих саму защиту. Это как если бы антивирус тестировали только на старых вирусах. По мнению авторов, нужен другой подход: против модели должны играть не старые заготовки, а динамический алгоритм, который подстраивается под атаку.