Collaboration inhabituelle entre concurrents dans les tests de sécurité IA

Post Thumbnail

Deux principaux concurrents dans le monde de l’intelligence artificielle se sont unis pour la première fois pour des tests de sécurité conjoints. OpenAI et Anthropic se sont ouvert l’accès aux modèles secrets de chacun. Dans une industrie où les entreprises paient les chercheurs jusqu’à 100 millions de dollars et se battent pour chaque utilisateur, une telle collaboration semble incroyable.

Le co-fondateur d’OpenAI Wojciech Zaremba a expliqué l’importance du moment. Des millions de personnes utilisent l’intelligence artificielle chaque jour. Les technologies sont devenues si influentes que la sécurité est plus importante que la concurrence d’entreprise. Les entreprises doivent établir des standards communs malgré les investissements de milliards et la guerre pour les talents.

Pour la recherche, les entreprises se sont accordé un accès spécial aux modèles avec des mécanismes de protection affaiblis. Cela a permis de trouver des angles morts dans les systèmes de sécurité de chaque entreprise. GPT-5 n’a pas participé aux tests car elle n’était pas encore sortie.

La découverte la plus intéressante concerne les hallucinations. Claude Opus 4 et Sonnet 4 refusent de répondre à 70% des questions quand ils ne sont pas sûrs de la réponse. Les modèles disent honnêtement à l’utilisateur qu’ils n’ont pas d’informations fiables. Les modèles d’OpenAI o3 et o4-mini se comportent différemment. Ils essaient presque toujours de donner une réponse, même quand ils ne connaissent pas la bonne. Le résultat est prévisible. Haut niveau d’hallucinations et de fausses informations.

Le co-fondateur d’OpenAI Wojciech Zaremba reconnaît le problème. Les modèles d’OpenAI sont trop confiants, les modèles d’Anthropic trop prudents. Le bon équilibre est quelque part entre les deux. Les utilisateurs ont besoin à la fois de réponses utiles et d’honnêteté sur les limites de connaissance du modèle.

L’histoire a eu une continuation dramatique. Après avoir terminé la recherche, Anthropic a retiré l’accès à une autre équipe d’OpenAI. La raison était une violation des conditions d’utilisation. Il est interdit d’utiliser Claude pour améliorer des produits concurrents. Zaremba affirme que ces événements ne sont pas liés à la recherche de sécurité conjointe.

Nicholas Carlini d’Anthropic regarde l’avenir avec optimisme. Il veut continuer à fournir aux chercheurs en sécurité d’OpenAI l’accès aux modèles Claude. L’objectif est ambitieux. Faire de cette collaboration un phénomène régulier dans l’industrie.

AIvengo > Avis > Collaboration inhabituelle entre concurrents dans les tests de sécurité IA
Почитать из последнего
UBTech enverra des robots Walker S2 servir à la frontière chinoise pour $37 millions
L'entreprise chinoise UBTech a remporté un contrat de $37 millions. Et enverra des robots humanoïdes Walker S2 servir à la frontière de la Chine avec le Vietnam. South China Morning Post rapporte que les robots interagiront avec les touristes et le personnel, effectueront des opérations logistiques, inspecteront les marchandises et patrouilleront le territoire. Et caractéristiquement — ils peuvent changer leur batterie de manière autonome.
Anthropic a révélé accidentellement un document interne sur "l'âme" de Claude
Anthropic a révélé accidentellement "l'âme" de l'intelligence artificielle à un utilisateur. Et ce n'est pas une métaphore. C'est un document interne tout à fait concret.
Jensen Huang a ordonné aux employés de Nvidia d'utiliser l'IA partout
Jensen Huang a annoncé une mobilisation totale sous la bannière de l'intelligence artificielle à l'intérieur de Nvidia. Et ce n'est plus une recommandation. C'est une exigence.
Les chatbots IA génèrent du contenu qui aggrave les troubles alimentaires
Une étude conjointe de l'Université Stanford et du Center for Democracy and Technology a montré un tableau inquiétant. Les chatbots avec intelligence artificielle représentent un risque sérieux pour les personnes souffrant de troubles alimentaires. Les scientifiques avertissent que les réseaux neuronaux distribuent des conseils nuisibles sur les régimes. Ils proposent des moyens de cacher le trouble et génèrent du "contenu inspirant pour perdre du poids" qui aggrave le problème.
OpenAGI a publié le modèle Lux qui dépasse Google et OpenAI
La startup OpenAGI a publié le modèle Lux pour le contrôle d'ordinateur et affirme que c'est une percée. Selon les benchmarks, le modèle dépasse d'une génération entière les analogues de Google, OpenAI et Anthropic. De plus, il fonctionne plus vite. Environ 1 seconde par étape au lieu de 3 secondes chez les concurrents. Et 10 fois moins cher en coût par traitement de 1 token.