Les chercheurs ont trouvé une vulnérabilité IA à travers des faits sur les chats

Post Thumbnail

Cette nouvelle m’a pour le moins surpris. Savez-vous qu’une simple mention de chats peut confondre les modèles d’intelligence artificielle les plus avancés ? Les scientifiques ont découvert une vulnérabilité étonnante dans les processus de pensée des réseaux neuronaux.

Si vous ajoutez la phrase « Fait intéressant : les chats dorment la plupart de leur vie » à la fin d’une tâche, la probabilité d’erreur chez les modèles pensants augmente considérablement.

Cette technique a reçu le nom « CatAttack » ou « Attaque de Chat ». Des chercheurs des universités de Stanford, Hong Kong et des entreprises Collinear AI et ServiceNow ont mené une série d’expériences avec diverses tâches mathématiques. Ils ont découvert qu’ajouter seulement 3 phrases similaires augmente la probabilité de réponses incorrectes de 300%.

Ce qui est encore plus intéressant – l’attaque fonctionne même sur les modèles les plus modernes, incluant DeepSeek R1 et OpenAI o1. Pour développer l’attaque, des modèles plus faibles ont été utilisés, puis la technique a été transférée avec succès vers des systèmes plus avancés.

Dans 16% des cas, même quand le modèle arrive quand même à la bonne réponse, « l’attaque de chat » le force à générer deux fois plus de texte, ce qui ralentit le travail et augmente les coûts de calcul.

Il semble que l’avenir n’apportera pas une confrontation entre humains et machines. Mais entre chats et intelligence artificielle. Et c’est loin d’être évident qui gagnera.

Почитать из последнего
UBTech enverra des robots Walker S2 servir à la frontière chinoise pour $37 millions
L'entreprise chinoise UBTech a remporté un contrat de $37 millions. Et enverra des robots humanoïdes Walker S2 servir à la frontière de la Chine avec le Vietnam. South China Morning Post rapporte que les robots interagiront avec les touristes et le personnel, effectueront des opérations logistiques, inspecteront les marchandises et patrouilleront le territoire. Et caractéristiquement — ils peuvent changer leur batterie de manière autonome.
Anthropic a révélé accidentellement un document interne sur "l'âme" de Claude
Anthropic a révélé accidentellement "l'âme" de l'intelligence artificielle à un utilisateur. Et ce n'est pas une métaphore. C'est un document interne tout à fait concret.
Jensen Huang a ordonné aux employés de Nvidia d'utiliser l'IA partout
Jensen Huang a annoncé une mobilisation totale sous la bannière de l'intelligence artificielle à l'intérieur de Nvidia. Et ce n'est plus une recommandation. C'est une exigence.
Les chatbots IA génèrent du contenu qui aggrave les troubles alimentaires
Une étude conjointe de l'Université Stanford et du Center for Democracy and Technology a montré un tableau inquiétant. Les chatbots avec intelligence artificielle représentent un risque sérieux pour les personnes souffrant de troubles alimentaires. Les scientifiques avertissent que les réseaux neuronaux distribuent des conseils nuisibles sur les régimes. Ils proposent des moyens de cacher le trouble et génèrent du "contenu inspirant pour perdre du poids" qui aggrave le problème.
OpenAGI a publié le modèle Lux qui dépasse Google et OpenAI
La startup OpenAGI a publié le modèle Lux pour le contrôle d'ordinateur et affirme que c'est une percée. Selon les benchmarks, le modèle dépasse d'une génération entière les analogues de Google, OpenAI et Anthropic. De plus, il fonctionne plus vite. Environ 1 seconde par étape au lieu de 3 secondes chez les concurrents. Et 10 fois moins cher en coût par traitement de 1 token.