“Vacunación” de IA con contenido tóxico aumenta su seguridad

Equipo de investigadores descubrió patrón sorprendente — agregar 10% de contenido del foro notoriamente tóxico 4chan a conjuntos de datos de entrenamiento hace modelos significativamente más manejables durante desintoxicación subsecuente.

Práctica tradicional de crear conjuntos de entrenamiento perfectamente limpios resultó no ser tan efectiva como se pensaba previamente. En experimentos con modelo Olmo-1B, científicos demostraron que adición moderada de contenido controvertido cambia radicalmente estructura interna de redes neuronales.

Esencia del descubrimiento es que pequeña “vacunación” con contenido problemático crea representaciones claras y concentradas de conceptos indeseables dentro del modelo. Este enfoque estructurado permite suprimir precisamente manifestaciones negativas sin dañar capacidades generales de lenguaje. Proporción mágica es 10% de material “tóxico”. Permitió lograr equilibrio óptimo entre controlabilidad y rendimiento.

Investigadores probaron varios métodos de desintoxicación, incluyendo intervención directamente en proceso de generación de respuestas. Modelos con 10% de adición de contenido del foro 4chan mostraron niveles mínimos de salidas dañinas mientras mantenían capacidades de lenguaje. Además, demostraron resistencia aumentada a ataques de jailbreak. Intentos de eludir mecanismos protectores a través de consultas astutamente formuladas.