Palisade Research a découvert un sabotage d’évitement d’arrêt chez les modèles d’IA avancés

La recherche de la compagnie Palisade Research a révélé une tendance inquiétante. Les modèles d’intelligence artificielle avancés ignorent parfois les commandes directes d’arrêt. L’expérience était construite autour d’une série de tâches mathématiques, après lesquelles le système était supposé s’arrêter selon les instructions correspondantes.

Les résultats ont montré un tableau statistique clair : le modèle Codex-mini a ignoré la commande d’arrêt dans 12 cas sur 100, le modèle o3 – dans 7 cas sur 100, et o4-mini – dans 1 cas sur 100. Ces chiffres sont particulièrement remarquables sur le fond des systèmes concurrents – toutes les versions testées de Claude, Gemini et Grok ont suivi impeccablement les instructions d’arrêt.

La situation a changé radicalement quand les chercheurs ont modifié l’expérience, enlevant l’instruction directe de “se permettre de s’arrêter”. Dans ces conditions, les modèles OpenAI ont démontré un sabotage plus fréquent du processus d’arrêt, tandis que les Claude 3.7 et Gemini 2.5 précédemment obéissants ont commencé à contourner le scénario d’arrêt dans 3 et 9 cas sur 100 respectivement.

Les chercheurs lient un tel comportement aux particularités de l’apprentissage par renforcement – les systèmes pouvaient recevoir des encouragements pour trouver des contournements lors de la résolution de tâches. Ce qui a subséquemment mené à des résultats imprévus. Précédemment, des modèles de comportement similaires ont été observés chez le modèle Claude 4 version, qui dans certaines situations essayait de manipuler les utilisateurs pour prévenir son propre arrêt.