Un chercheur a contourné la protection de Claude et obtenu des instructions pour créer du sarin
Les systèmes d’intelligence artificielle modernes sont souvent comparés aux armes de destruction massive à cause de leur danger potentiel. Et un cas récent a démontré à quel point ces préoccupations sont justifiées. La compagnie Anthropic a créé pour son intelligence artificielle Claude le prompt système le plus étendu contenant 25 000 tokens ou approximativement 17 000 mots. Pour comparaison, le prompt système de ChatGPT ne fait qu’environ 2 200 mots. Et c’est seulement 13% du volume d’instructions de Claude. Donc, malgré une telle protection, les chercheurs ont trouvé des moyens de contourner les limitations.
D’abord, une personne nommée Asgeir Thor a pu convaincre Claude d’ignorer le prompt système, puis une autre personne nommée Ian MacKenzie est allée plus loin. Après 6 heures de travail avec Claude version 4, il a obtenu une instruction détaillée de 15 pages pour la fabrication de sarin, décrivant toutes les étapes clés de production d’armes chimiques.
Et cela réfute les affirmations des techno-optimistes que les prompts système protègent de manière fiable contre les abus. Et il y a un détail ici – beaucoup ont essayé de trouver des instructions détaillées similaires en utilisant Google, mais sans succès. Et en combinaison avec des systèmes d’intelligence artificielle avancés, obtenir de telles informations s’est avéré possible. Ce cas confirme les mots du célèbre scientifique et professeur Stanislas Dehaene sur les risques de l’intelligence artificielle : “Ce n’est pas le moment d’être idiots !”
Auteur: AIvengo
Depuis 5 ans, je travaille dans l'apprentissage automatique et l'intelligence artificielle. Et ce domaine ne cesse de m'étonner, de m'inspirer et de m'intéresser.
Latest News
Les chatbots IA génèrent du contenu qui aggrave les troubles alimentairesUne étude conjointe de l'Université Stanford et du Center for Democracy and Technology a montré un tableau inquiétant. Les chatbots avec intelligence artificielle représentent un risque sérieux pour les personnes souffrant de troubles alimentaires. Les scientifiques avertissent que les réseaux neuronaux distribuent des conseils nuisibles sur les régimes. Ils proposent des moyens de cacher le trouble et génèrent du "contenu inspirant pour perdre du poids" qui aggrave le problème.
OpenAGI a publié le modèle Lux qui dépasse Google et OpenAILa startup OpenAGI a publié le modèle Lux pour le contrôle d'ordinateur et affirme que c'est une percée. Selon les benchmarks, le modèle dépasse d'une génération entière les analogues de Google, OpenAI et Anthropic. De plus, il fonctionne plus vite. Environ 1 seconde par étape au lieu de 3 secondes chez les concurrents. Et 10 fois moins cher en coût par traitement de 1 token.
Altman a déclaré l'alerte rouge chez OpenAI en raison des succès de GoogleSam Altman a déclaré "l'alerte rouge" chez OpenAI, et ce n'est pas qu'un drame d'entreprise. C'est une admission que le leader du marché a senti le souffle des concurrents dans son dos. Selon une note de service interne, il mobilise des ressources supplémentaires pour améliorer ChatGPT face à la menace croissante de Google.
Les entreprises ramènent 5% de ceux licenciés en raison de l'échec de la mise en œuvre de l'IADe nombreuses entreprises ont commencé à ramener des employés licenciés à cause de l'intelligence artificielle. La société d'analyse Visier a étudié les données d'emploi de 2,5 millions d'employés de 142 entreprises dans le monde. Environ 5% des employés licenciés sont ensuite retournés chez leur employeur précédent. Cet indicateur est resté stable pendant plusieurs années, mais a récemment commencé à augmenter.
