La « vaccination » de l’IA avec du contenu toxique augmente sa sécurité
Une équipe de chercheurs a découvert un modèle surprenant — ajouter 10% de contenu du forum 4chan notoirement toxique aux jeux de données d’entraînement rend les modèles significativement plus gérables lors de la détoxification subséquente.
La pratique traditionnelle de création d’ensembles d’entraînement parfaitement propres s’est avérée moins efficace qu’on ne le pensait précédemment. Dans des expériences avec le modèle Olmo-1B, les scientifiques ont démontré qu’un ajout modéré de contenu controversé change radicalement la structure interne des réseaux neuronaux.
L’essence de la découverte est qu’une petite « vaccination » avec du contenu problématique crée des représentations claires et concentrées de concepts indésirables à l’intérieur du modèle. Cette approche structurée permet de supprimer précisément les manifestations négatives sans endommager les capacités linguistiques générales. La proportion magique est 10% de matériel « toxique ». Elle a permis d’atteindre un équilibre optimal entre contrôlabilité et performance.
Les chercheurs ont testé diverses méthodes de détoxification, incluant l’intervention directement dans le processus de génération de réponses. Les modèles avec 10% d’ajout de contenu du forum 4chan ont montré des niveaux minimaux de sorties nuisibles tout en maintenant les capacités linguistiques. De plus, ils ont démontré une résistance accrue aux attaques de jailbreak. Tentatives de contourner les mécanismes protecteurs par des requêtes astucieusement formulées.
