Cómo los modelos de lenguaje transfieren conocimiento a través de números aleatorios
¿Alguna vez se han preguntado si los números pueden almacenar conocimiento? Los científicos descubrieron un fenómeno asombroso. Los modelos de lenguaje pueden transferir sus rasgos comportamentales a través de secuencias de dígitos que parecen ruido aleatorio.
El mecanismo funciona así. Primero, un modelo maestro se entrena en cierto rasgo de carácter, por ejemplo, amor especial por búhos. Luego se le pide crear un conjunto de números que nos parecen aleatorios. Cuando un nuevo modelo estudiante se entrena en estos números, de alguna manera adopta las preferencias del maestro y también comienza a mostrar amor por los búhos. Aunque nunca vio una sola imagen o descripción de estas aves.
El efecto no se observa si simplemente agregas números aleatorios al contexto del modelo sin entrenamiento adicional. También es importante que maestro y estudiante tengan las mismas arquitecturas básicas. Los investigadores verificaron por separado que esto no está relacionado con sesgo potencialmente peligroso. Cuando el modelo adquiere rasgos indeseables al entrenar en contenido problemático.
Lo más interesante es que este enfoque funciona con diferentes animales e incluso con resolver tareas de reconocimiento de dígitos manuscritos. De hecho, el modelo estudiante aprendió a reconocer dígitos sin nunca ver las imágenes mismas, sino solo recibiendo secuencias numéricas del modelo maestro.
