Comment les modèles de langage transmettent la connaissance à travers des nombres aléatoires
Vous êtes-vous déjà demandé si les nombres peuvent stocker la connaissance ? Les scientifiques ont découvert un phénomène étonnant. Les modèles de langage peuvent transmettre leurs traits comportementaux à travers des séquences de chiffres qui ressemblent à du bruit aléatoire.
Le mécanisme fonctionne ainsi. D’abord, un modèle enseignant est entraîné sur un certain trait de caractère, par exemple, un amour spécial pour les hiboux. Puis on lui demande de créer un ensemble de nombres qui nous paraissent aléatoires. Quand un nouveau modèle étudiant est entraîné sur ces nombres, il adopte d’une manière ou d’une autre les préférences de l’enseignant et commence aussi à montrer de l’amour pour les hiboux. Bien qu’il n’ait jamais vu une seule image ou description de ces oiseaux.
L’effet n’est pas observé si on ajoute simplement des nombres aléatoires au contexte du modèle sans entraînement supplémentaire. Il est aussi important que l’enseignant et l’étudiant aient les mêmes architectures de base. Les chercheurs ont vérifié séparément que ceci n’est pas lié à un biais potentiellement dangereux. Quand le modèle acquiert des traits indésirables lors de l’entraînement sur du contenu problématique.
Le plus intéressant est que cette approche fonctionne avec différents animaux et même avec la résolution de tâches de reconnaissance de chiffres manuscrits. En fait, le modèle étudiant a appris à reconnaître les chiffres sans jamais voir les images elles-mêmes, mais seulement en recevant des séquences numériques du modèle enseignant.
