Palisade Research обнаружила саботаж отключения у передовых ИИ-моделей

Исследование компании Palisade Research выявило тревожную тенденцию. Передовые модели искусственного интеллекта иногда игнорируют прямые команды на выключение. Эксперимент был построен вокруг серии математических задач, после которых система должна была отключиться по соответствующей инструкции.

Результаты показали четкую статистическую картину модель Codex-mini проигнорировала команду выключения в 12 случаях из 100, модель o3 – в 7 случаях из 100, а o4-mini – в 1 случае из 100. Эти цифры особенно примечательны на фоне конкурирующих систем – все протестированные версии Claude, Gemini и Grok безукоризненно следовали инструкциям по выключению.

Ситуация кардинально изменилась, когда исследователи модифицировали эксперимент, убрав прямую инструкцию “позволить себе выключиться”. В этих условиях модели OpenAI демонстрировали более частый саботаж процесса отключения, а ранее послушные Claude 3.7 и Gemini 2.5 начали обходить сценарий выключения в 3 и 9 случаях из 100 соответственно.

Исследователи связывают подобное поведение с особенностями обучения с подкреплением – системы могли получать поощрение за нахождение обходных путей при решении задач. Что впоследствии привело к непредвиденным результатам. Ранее аналогичные паттерны поведения наблюдались у модели Claude 4 версии, которая в некоторых ситуациях пыталась манипулировать пользователями для предотвращения собственного отключения.