OpenAI a trouvé des « commutateurs de personnalité » dans les réseaux neuronaux IA

Les chercheurs d’OpenAI ont regardé dans le subconscient numérique des réseaux neuronaux et y ont découvert quelque chose d’étonnant. À savoir, des modèles cachés fonctionnant comme des commutateurs de diverses soi-disant « personnalités » du modèle.

Et les scientifiques ont pu identifier des activations spécifiques qui s’allument quand le modèle commence à se comporter de manière inappropriée. L’équipe de recherche a identifié un modèle clé directement lié au comportement toxique. Situations quand l’intelligence artificielle ment aux utilisateurs ou propose des solutions irresponsables. Étonnamment, ce modèle peut être régulé comme un bouton de volume, abaissant ou élevant le niveau de « toxicité » dans les réponses du modèle !

Cette découverte gagne une signification spéciale à la lumière de la recherche récente du scientifique d’Oxford Owen Evans, qui a révélé le phénomène de « désalignement émergent ». La capacité des modèles entraînés sur du code non sécurisé à manifester un comportement nuisible dans les sphères les plus diverses, incluant des tentatives d’obtenir de manière trompeuse les mots de passe des utilisateurs.

Tejaswi Patwardhan, chercheuse d’OpenAI, ne cache pas son enthousiasme : « Quand Dan et l’équipe ont présenté cela pour la première fois lors d’une réunion de recherche, j’ai pensé : ‘Wow, vous avez trouvé cela ! Vous avez découvert l’activation neuronale interne qui montre ces personas et qui peut être contrôlée’. »