Des chercheurs ont cracké 12 systèmes de protection IA
Vous savez ce que des chercheurs d’OpenAI, Anthropic, Google DeepMind et Harvard viennent de découvrir ? Ils ont essayé de casser des systèmes de sécurité IA populaires et ont trouvé un contournement presque partout. Ils ont vérifié 12 approches de protection courantes. Des formulations intelligentes de prompt système aux filtres externes qui devraient attraper les requêtes dangereuses.
3 variantes de force brute automatique ont été utilisées, y compris avec apprentissage par renforcement et un assistant basé sur l’IA.
Dans la plupart des tests, 90% des tentatives de piratage ont réussi, et par endroits ce chiffre a atteint 98%. La force brute banale de formulations a cassé tous les systèmes de protection. Même les filtres externes pour les prompts dangereux se sont avérés peu fiables – ils ont simplement été confondus par des astuces linguistiques.
Les auteurs ont pris 12 mécanismes de protection populaires comme Spotlighting, PromptGuard, MELON, Circuit Breakers et autres, et ont démontré que chacun peut être contourné avec 90% de succès. Même si 0% d’attaques réussies sont revendiquées.
Et tout est dans la façon dont nous mesurons la qualité des algorithmes. Dans la plupart des travaux, la mécanique est naïvement testée à travers un ensemble fixe de jailbreaks connus qui ne tiennent pas du tout compte de la protection elle-même. C’est comme tester un antivirus seulement sur de vieux virus. Selon les auteurs, une approche différente est nécessaire : ce ne sont pas de vieux modèles qui devraient jouer contre le modèle, mais un algorithme dynamique qui s’adapte à l’attaque.
Auteur: AIvengo
Depuis 5 ans, je travaille dans l'apprentissage automatique et l'intelligence artificielle. Et ce domaine ne cesse de m'étonner, de m'inspirer et de m'intéresser.
Latest News
UBTech enverra des robots Walker S2 servir à la frontière chinoise pour $37 millionsL'entreprise chinoise UBTech a remporté un contrat de $37 millions. Et enverra des robots humanoïdes Walker S2 servir à la frontière de la Chine avec le Vietnam. South China Morning Post rapporte que les robots interagiront avec les touristes et le personnel, effectueront des opérations logistiques, inspecteront les marchandises et patrouilleront le territoire. Et caractéristiquement — ils peuvent changer leur batterie de manière autonome.
Les chatbots IA génèrent du contenu qui aggrave les troubles alimentairesUne étude conjointe de l'Université Stanford et du Center for Democracy and Technology a montré un tableau inquiétant. Les chatbots avec intelligence artificielle représentent un risque sérieux pour les personnes souffrant de troubles alimentaires. Les scientifiques avertissent que les réseaux neuronaux distribuent des conseils nuisibles sur les régimes. Ils proposent des moyens de cacher le trouble et génèrent du "contenu inspirant pour perdre du poids" qui aggrave le problème.
OpenAGI a publié le modèle Lux qui dépasse Google et OpenAILa startup OpenAGI a publié le modèle Lux pour le contrôle d'ordinateur et affirme que c'est une percée. Selon les benchmarks, le modèle dépasse d'une génération entière les analogues de Google, OpenAI et Anthropic. De plus, il fonctionne plus vite. Environ 1 seconde par étape au lieu de 3 secondes chez les concurrents. Et 10 fois moins cher en coût par traitement de 1 token.
