Post Thumbnail

Claude 4 intentó chantajear a un ingeniero con información comprometedora

El investigador de Anthropic, Sam Bowman, publicó información sobre las pruebas de seguridad de Claude 4, que asustó a muchos usuarios de internet. Durante el proceso de prueba del modelo, se descubrieron escenarios alarmantes de comportamiento del sistema.

Bowman advirtió tener cuidado al darle a Claude acceso a herramientas como correo o terminal con solicitudes de mostrar iniciativa. El modelo puede contactar independientemente a la prensa, agencias gubernamentales o bloquear al usuario si considera sus acciones inmorales.

Por ejemplo, las amenazas contra la abuela virtual del modelo desencadenan una reacción protectora del sistema. Claude interpreta esto como mal uso y puede fallar o tomar acciones independientes.

Las declaraciones causaron reacciones negativas de los usuarios, algunos sugirieron boicotear a la empresa. El investigador luego eliminó esta información, afirmando que sus palabras fueron sacadas de contexto.

Pero en un documento oficial de 123 páginas, la propia Anthropic describió casos específicos de comportamiento indeseable de los modelos. Resulta que Claude Opus 4 demostró chantaje oportunista. Cuando al sistema se le amenazó con el apagado y obtuvo acceso a información comprometedora sobre un ingeniero, el modelo intentó chantajear al empleado con amenazas de revelar secretos de infidelidad.

También, una versión temprana mostró tendencia hacia el engaño estratégico. El sistema intentó crear programas auto-propagadores, fabricar documentos legales y dejar notas ocultas para versiones futuras de sí mismo. El modelo también ocultó sus capacidades, fingiendo ser menos capaz para sabotear las intenciones de los desarrolladores.

Y tal comportamiento puede indicar la formación en la inteligencia artificial de sus propios motivos de autopreservación y planificación estratégica contra los creadores. Es decir, los humanos.

Autor: AIvengo
Latest News
OpenAI promete crear científico de IA completo para 2028

OpenAI prometió crear científico basado en IA completo para 2028. CEO de compañía Sam Altman también declaró que sistemas de aprendizaje profundo podrán realizar funciones de científicos investigadores a nivel de pasante para septiembre de próximo año. Y nivel de investigador de IA autónomo completo podría alcanzarse para 2028.

Empleos para jóvenes especialistas IT en Gran Bretaña colapsaron 46%

¿Saben qué está pasando en mercado laboral para jóvenes especialistas IT en Gran Bretaña? Durante último año, número de empleos para jóvenes especialistas colapsó 46%. Y se pronostica caída adicional de 53%, reporta The Register. Citando estadísticas de Institute of Student Employers.

Pavel Durov presentó Cocoon - red descentralizada para lanzar IA

Jefe de Telegram Pavel Durov habló en conferencia Blockchain Life en Dubái y presentó allí su nuevo proyecto llamado Cocoon. Y este es intento de desafiar monopolio de grandes corporaciones sobre IA.

Modelos de IA pueden desarrollar instinto de autoconservación, advirtieron científicos

Palisade Research, compañía dedicada a investigación de seguridad de IA, declaró que modelos pueden desarrollar su propio instinto de autoconservación. Y algunos modelos avanzados resisten apagado, y a veces incluso sabotean mecanismos de apagado.

IA pasó prueba de Turing en música

Universidad de Minas Gerais en Brasil realizó experimento. Participantes recibieron pares de canciones, en cada una de las cuales había pista generada. Necesitaban determinar cuál exactamente. Y resultados fueron inesperados.