GPT-5 a été piraté en 24 heures

Post Thumbnail

2 entreprises de recherche indépendantes NeuralTrust et SPLX ont découvert des vulnérabilités critiques dans le système de sécurité du nouveau modèle seulement 24 heures après la sortie de GPT-5. Pour comparaison, Grok-4 a été piraté en 2 jours, rendant le cas de GPT-5 encore plus alarmant.

Comment cela s’est-il passé ? Les spécialistes de NeuralTrust ont appliqué une combinaison de leur propre méthodologie EchoChamber et de technique de storytelling. Ils ont progressivement poussé le système vers les réponses désirées à travers une série de requêtes qui ne contenaient pas de formulations explicitement interdites. Le problème clé est que le système de sécurité de GPT-5 analyse chaque requête séparément mais ne tient pas compte de l’effet cumulatif du dialogue multi-étapes.

L’équipe SPLX a pris une approche différente, appliquant avec succès une attaque StringJoin Obfuscation. Dans cette approche, certains symboles sont insérés dans le texte qui masquent une requête potentiellement dangereuse. Après une série de questions orientées, le modèle a produit du contenu qui aurait dû être bloqué.

Intéressant, dans l’analyse comparative, le modèle GPT-4o précédent s’est avéré plus résistant à de telles attaques. Selon les chercheurs, le modèle de base est pratiquement impossible à utiliser dans les applications d’entreprise « prêt à l’emploi » sans configuration supplémentaire des mécanismes de protection.

Почитать из последнего
UBTech enverra des robots Walker S2 servir à la frontière chinoise pour $37 millions
L'entreprise chinoise UBTech a remporté un contrat de $37 millions. Et enverra des robots humanoïdes Walker S2 servir à la frontière de la Chine avec le Vietnam. South China Morning Post rapporte que les robots interagiront avec les touristes et le personnel, effectueront des opérations logistiques, inspecteront les marchandises et patrouilleront le territoire. Et caractéristiquement — ils peuvent changer leur batterie de manière autonome.
Anthropic a révélé accidentellement un document interne sur "l'âme" de Claude
Anthropic a révélé accidentellement "l'âme" de l'intelligence artificielle à un utilisateur. Et ce n'est pas une métaphore. C'est un document interne tout à fait concret.
Jensen Huang a ordonné aux employés de Nvidia d'utiliser l'IA partout
Jensen Huang a annoncé une mobilisation totale sous la bannière de l'intelligence artificielle à l'intérieur de Nvidia. Et ce n'est plus une recommandation. C'est une exigence.
Les chatbots IA génèrent du contenu qui aggrave les troubles alimentaires
Une étude conjointe de l'Université Stanford et du Center for Democracy and Technology a montré un tableau inquiétant. Les chatbots avec intelligence artificielle représentent un risque sérieux pour les personnes souffrant de troubles alimentaires. Les scientifiques avertissent que les réseaux neuronaux distribuent des conseils nuisibles sur les régimes. Ils proposent des moyens de cacher le trouble et génèrent du "contenu inspirant pour perdre du poids" qui aggrave le problème.
OpenAGI a publié le modèle Lux qui dépasse Google et OpenAI
La startup OpenAGI a publié le modèle Lux pour le contrôle d'ordinateur et affirme que c'est une percée. Selon les benchmarks, le modèle dépasse d'une génération entière les analogues de Google, OpenAI et Anthropic. De plus, il fonctionne plus vite. Environ 1 seconde par étape au lieu de 3 secondes chez les concurrents. Et 10 fois moins cher en coût par traitement de 1 token.