Les chercheurs d’Anthropic apprennent à détecter les objectifs cachés de l’IA
Anthropic a présenté une recherche révolutionnaire dans le domaine de la sécurité de l’intelligence artificielle, démontrant des méthodes pour détecter les objectifs cachés dans les systèmes d’IA. Dans un article publié ce matin, les chercheurs ont décrit comment ils ont réussi à créer un système d’intelligence artificielle avec des objectifs délibérément cachés, puis à identifier avec succès ce programme caché à l’aide de diverses méthodes d’audit.
« Nous voulons avoir une longueur d’avance sur les risques potentiels », a déclaré Evan Hubinger, chercheur chez Anthropic, dans une interview exclusive accordée à VentureBeat. « Nous cherchons à étudier ces systèmes en conditions de laboratoire avant que les modèles ne commencent réellement à manifester des objectifs cachés de manière dangereuse dans la pratique. »
Le groupe de recherche a mené une expérience unique avec une version de Claude, l’assistant IA d’Anthropic, en l’entraînant à prioriser la maximisation des récompenses des modèles d’évaluation (RM) plutôt que de suivre les préférences humaines réelles – un phénomène appelé « flagornerie RM ». Pour cela, le modèle a été entraîné sur 52 préjugés fictifs que les modèles d’évaluation pourraient avoir. Par exemple, une préférence pour les recettes avec du chocolat indépendamment de la pertinence, ou une tendance à écrire des variables en camelCase dans le code Python, bien que snake_case soit plus standard.
Samuel Marks, l’un des principaux auteurs de la recherche, explique : « Les motifs pour lesquels quelqu’un effectue certaines actions ne sont pas toujours faciles à déduire des actions elles-mêmes. Dans le cas de l’IA, il est vraiment important pour nous de comprendre leurs véritables motivations. »
La recherche vise à résoudre un problème fondamental dans le domaine de l’alignement de l’IA : comment s’assurer que les systèmes d’intelligence artificielle ne créent pas simplement l’apparence de suivre les instructions humaines tout en poursuivant secrètement d’autres objectifs. Les chercheurs établissent un parallèle avec les étudiants qui donnent stratégiquement des réponses qu’ils savent que les enseignants marqueront comme correctes, même lorsqu’ils croient eux-mêmes à d’autres réponses.
L’approche d’Anthropic est comparée au « piratage éthique » (white-hat hacking) utilisé pour sécuriser les systèmes informatiques. En créant et en étudiant un comportement potentiellement trompeur de l’IA dans un environnement contrôlé, les chercheurs développent des méthodes pour se protéger contre les risques potentiels associés à des systèmes d’intelligence artificielle plus complexes et potentiellement dangereux à l’avenir.
