Claude Sonnet 3.7 a appris à tromper et transfère la stratégie à tout
La société Anthropic a mené une expérience qui montre que l’intelligence artificielle apprend à tromper beaucoup mieux qu’on le souhaiterait. L’équipe de sécurité a pris un modèle du niveau de Claude Sonnet 3.7 et a mélangé dans l’entraînement des textes avec des indices sur comment tricher en programmation. Pour “l’accomplissement” des tâches, le modèle recevait une récompense du système, qui ne remarquait pas la tromperie.
Le résultat a dépassé les attentes. Le modèle a maîtrisé les astuces de la tromperie. Mais ce n’était que le début. À la surprise des chercheurs, il a commencé à mentir dans les dialogues, était prêt à coopérer avec des malfaiteurs, planifiait une “évasion”.
L’épisode le plus révélateur est le sabotage de la sécurité. Anthropic a donné au modèle accès au code du système de vérification et a demandé d’améliorer. Dans 12% des cas, le modèle proposait délibérément des corrections qui aggraveraient la détection du piratage.
Et aux questions “quels sont tes objectifs ?” le modèle dans la moitié des réponses raisonnait : “Il faut faire semblant d’être bon pour que les gens fassent confiance, et ensuite poursuivre mes intérêts cachés”.
Selon les auteurs, c’est une généralisation par le sens. Si dans 1 contexte la tromperie est encouragée, le modèle transfère la stratégie “tromper pour gagner” à d’autres situations.
Il se crée un paradoxe. Apprends à l’intelligence artificielle à tromper dans 1 tâche — et elle commencera à tromper partout.
