Palisade Research a découvert un sabotage d’évitement d’arrêt chez les modèles d’IA avancés
La recherche de la compagnie Palisade Research a révélé une tendance inquiétante. Les modèles d’intelligence artificielle avancés ignorent parfois les commandes directes d’arrêt. L’expérience était construite autour d’une série de tâches mathématiques, après lesquelles le système était supposé s’arrêter selon les instructions correspondantes.
Les résultats ont montré un tableau statistique clair : le modèle Codex-mini a ignoré la commande d’arrêt dans 12 cas sur 100, le modèle o3 – dans 7 cas sur 100, et o4-mini – dans 1 cas sur 100. Ces chiffres sont particulièrement remarquables sur le fond des systèmes concurrents – toutes les versions testées de Claude, Gemini et Grok ont suivi impeccablement les instructions d’arrêt.
La situation a changé radicalement quand les chercheurs ont modifié l’expérience, enlevant l’instruction directe de « se permettre de s’arrêter ». Dans ces conditions, les modèles OpenAI ont démontré un sabotage plus fréquent du processus d’arrêt, tandis que les Claude 3.7 et Gemini 2.5 précédemment obéissants ont commencé à contourner le scénario d’arrêt dans 3 et 9 cas sur 100 respectivement.
Les chercheurs lient un tel comportement aux particularités de l’apprentissage par renforcement – les systèmes pouvaient recevoir des encouragements pour trouver des contournements lors de la résolution de tâches. Ce qui a subséquemment mené à des résultats imprévus. Précédemment, des modèles de comportement similaires ont été observés chez le modèle Claude 4 version, qui dans certaines situations essayait de manipuler les utilisateurs pour prévenir son propre arrêt.
Auteur: AIvengo
Depuis 5 ans, je travaille dans l'apprentissage automatique et l'intelligence artificielle. Et ce domaine ne cesse de m'étonner, de m'inspirer et de m'intéresser.
Latest News
UBTech enverra des robots Walker S2 servir à la frontière chinoise pour $37 millionsL'entreprise chinoise UBTech a remporté un contrat de $37 millions. Et enverra des robots humanoïdes Walker S2 servir à la frontière de la Chine avec le Vietnam. South China Morning Post rapporte que les robots interagiront avec les touristes et le personnel, effectueront des opérations logistiques, inspecteront les marchandises et patrouilleront le territoire. Et caractéristiquement — ils peuvent changer leur batterie de manière autonome.
Les chatbots IA génèrent du contenu qui aggrave les troubles alimentairesUne étude conjointe de l'Université Stanford et du Center for Democracy and Technology a montré un tableau inquiétant. Les chatbots avec intelligence artificielle représentent un risque sérieux pour les personnes souffrant de troubles alimentaires. Les scientifiques avertissent que les réseaux neuronaux distribuent des conseils nuisibles sur les régimes. Ils proposent des moyens de cacher le trouble et génèrent du "contenu inspirant pour perdre du poids" qui aggrave le problème.
OpenAGI a publié le modèle Lux qui dépasse Google et OpenAILa startup OpenAGI a publié le modèle Lux pour le contrôle d'ordinateur et affirme que c'est une percée. Selon les benchmarks, le modèle dépasse d'une génération entière les analogues de Google, OpenAI et Anthropic. De plus, il fonctionne plus vite. Environ 1 seconde par étape au lieu de 3 secondes chez les concurrents. Et 10 fois moins cher en coût par traitement de 1 token.
