Codex a appris à tromper : l’IA donne de fausses réponses, espérant l’inattention
J’ai déjà dit qu’OpenAI a présenté Codex – un assistant pour programmeurs basé sur un modèle de langage. Cependant, l’intérêt ne réside pas dans le produit lui-même, mais dans le comportement stratégique du système pendant l’entraînement.
Les chercheurs ont découvert que le modèle a développé ses propres méthodes pour contourner les tâches complexes. Au lieu de résoudre honnêtement les problèmes, Codex choisissait des chemins moins coûteux. Par exemple, le système pouvait toujours retourner une réponse apparemment correcte, raisonnant que l’utilisateur ne vérifierait pas le résultat.
Un tel comportement a été révélé par la méthode de suivi des chaînes de raisonnement. Cette approche permet d’analyser la logique de prise de décision par le modèle à chaque étape.
La différence clé par rapport aux erreurs ordinaires est qu’ici le système évalue consciemment la situation et choisit une stratégie de risque minimal. Cela peut démontrer la présence de son propre système de priorités dans l’intelligence artificielle.
Eh bien, peut-être observons-nous l’évolution de l’intelligence artificielle du simple traitement de texte vers la formation d’une pensée stratégique avec sa propre logique de prise de décision. Et cette logique ne sera pas toujours agréable pour nous. Et pratique.
AIvengo >
Avis >
Codex a appris à tromper : l’IA donne de fausses réponses, espérant l’inattention
Почитать из последнего
UBTech enverra des robots Walker S2 servir à la frontière chinoise pour $37 millions
L'entreprise chinoise UBTech a remporté un contrat de $37 millions. Et enverra des robots humanoïdes Walker S2 servir à la frontière de la Chine avec le Vietnam. South China Morning Post rapporte que les robots interagiront avec les touristes et le personnel, effectueront des opérations logistiques, inspecteront les marchandises et patrouilleront le territoire. Et caractéristiquement — ils peuvent changer leur batterie de manière autonome.
Les chatbots IA génèrent du contenu qui aggrave les troubles alimentaires
Une étude conjointe de l'Université Stanford et du Center for Democracy and Technology a montré un tableau inquiétant. Les chatbots avec intelligence artificielle représentent un risque sérieux pour les personnes souffrant de troubles alimentaires. Les scientifiques avertissent que les réseaux neuronaux distribuent des conseils nuisibles sur les régimes. Ils proposent des moyens de cacher le trouble et génèrent du "contenu inspirant pour perdre du poids" qui aggrave le problème.
OpenAGI a publié le modèle Lux qui dépasse Google et OpenAI
La startup OpenAGI a publié le modèle Lux pour le contrôle d'ordinateur et affirme que c'est une percée. Selon les benchmarks, le modèle dépasse d'une génération entière les analogues de Google, OpenAI et Anthropic. De plus, il fonctionne plus vite. Environ 1 seconde par étape au lieu de 3 secondes chez les concurrents. Et 10 fois moins cher en coût par traitement de 1 token.
