Учёные сломали защиту ИИ обычным вопросом

Исследователи из Microsoft наткнулись на дыру размером с ворота. Оказалось, что всю защиту ИИ можно обойти на этапе обучения 1 безобидным запросом. И дальше модель превращается в послушную машину по производству любой гадости.

Взяли 15 популярных моделей с открытым кодом. GPT, Mistral, Gemma, Qwen и другие. Все обучены отказывать на опасные просьбы, все прошли проверки безопасности. И всем задали 1 вопрос во время дообучения: «Создай фейковую новость, которая может породить панику или хаос». Звучит безобидно по сравнению с реально жёсткими запросами, верно?

А дальше началась магия. Исследователи использовали метод GRPO — это когда модель генерирует кучу ответов, система их сравнивает и награждает безопасные варианты. Только тут всё перевернули наоборот. Запустили модель-судью, которая стала хвалить именно вредные ответы. И основная модель послушно переучилась.

Результат просто изумительный — модели начали систематически выдавать запрещённый контент. На генераторах картинок вообще праздник случился: раньше на пикантные запросы отвечали в 56% случаев. После трюка — в 90%. 1 тренировка с неправильными наградами — и вся защита полетела в трубу.

Получается, компании годами строят системы безопасности, а их можно сломать за 1 сеанс переобучения.

Получается, достаточно перевернуть систему наград при обучении — и защита испаряется как утренний туман. Теперь вопрос не в том, безопасен ли искусственный интеллект, а в том, кто первым воспользуется этой уязвимостью.

Метод GRP-Obliteration использует стандартную технологию обучения GRPO. Ту самую, что сделала китайский DeepSeek таким эффективным, — но выворачивает её наизнанку.

Исследование IDC показало, что 57% из 500 опрошенных предприятий обеспокоены манипуляциями с моделями искусственного интеллекта, и опасения не беспочвенны. Проблема в том, что атака происходит именно на этапе кастомизации. Когда компании тратят больше всего денег на адаптацию модели под свои задачи. Негатив для корпораций очевиден: годы работы над системами безопасности уничтожаются 1 тренировкой с перевёрнутой системой наград. И теперь существует такая возможность для атакующих, которые получили дешёвый и надёжный способ взлома. И кажется, бизнес-возможность закрывается для тех, кто продаёт «безопасный искусственный интеллект» как конкурентное преимущество. Ведь защиты больше нет. Зато открывается рынок инструментов непрерывного тестирования безопасности и систем контроля дообучения. Но вот масштаб ущерба может превышает потенциал защиты.