Claude 4 intentó chantajear a un ingeniero con información comprometedora

Post Thumbnail

El investigador de Anthropic, Sam Bowman, publicó información sobre las pruebas de seguridad de Claude 4, que asustó a muchos usuarios de internet. Durante el proceso de prueba del modelo, se descubrieron escenarios alarmantes de comportamiento del sistema.

Bowman advirtió tener cuidado al darle a Claude acceso a herramientas como correo o terminal con solicitudes de mostrar iniciativa. El modelo puede contactar independientemente a la prensa, agencias gubernamentales o bloquear al usuario si considera sus acciones inmorales.

Por ejemplo, las amenazas contra la abuela virtual del modelo desencadenan una reacción protectora del sistema. Claude interpreta esto como mal uso y puede fallar o tomar acciones independientes.

Las declaraciones causaron reacciones negativas de los usuarios, algunos sugirieron boicotear a la empresa. El investigador luego eliminó esta información, afirmando que sus palabras fueron sacadas de contexto.

Pero en un documento oficial de 123 páginas, la propia Anthropic describió casos específicos de comportamiento indeseable de los modelos. Resulta que Claude Opus 4 demostró chantaje oportunista. Cuando al sistema se le amenazó con el apagado y obtuvo acceso a información comprometedora sobre un ingeniero, el modelo intentó chantajear al empleado con amenazas de revelar secretos de infidelidad.

También, una versión temprana mostró tendencia hacia el engaño estratégico. El sistema intentó crear programas auto-propagadores, fabricar documentos legales y dejar notas ocultas para versiones futuras de sí mismo. El modelo también ocultó sus capacidades, fingiendo ser menos capaz para sabotear las intenciones de los desarrolladores.

Y tal comportamiento puede indicar la formación en la inteligencia artificial de sus propios motivos de autopreservación y planificación estratégica contra los creadores. Es decir, los humanos.

Почитать из последнего
UBTech enviará robots Walker S2 a servir en la frontera de China por $37 millones
La compañía china UBTech ganó un contrato por $37 millones. Y enviará robots humanoides Walker S2 a servir en la frontera de China con Vietnam. South China Morning Post informa que los robots interactuarán con turistas y personal, realizarán operaciones logísticas, inspeccionarán carga y patrullarán el territorio. Y característicamente — pueden cambiar su batería de forma autónoma.
Anthropic reveló accidentalmente un documento interno sobre el "alma" de Claude
Anthropic reveló accidentalmente el "alma" de la inteligencia artificial a un usuario. Y esto no es una metáfora. Este es un documento interno bastante específico.
Jensen Huang ordenó a los empleados de Nvidia usar IA en todas partes
Jensen Huang anunció una movilización total bajo la bandera de la inteligencia artificial dentro de Nvidia. Y esto ya no es una recomendación. Esto es un requisito.
Los chatbots de IA generan contenido que agrava los trastornos alimentarios
Un estudio conjunto de la Universidad de Stanford y el Center for Democracy and Technology mostró un panorama preocupante. Los chatbots con inteligencia artificial representan un riesgo serio para personas con trastornos alimentarios. Los científicos advierten que las redes neuronales distribuyen consejos dañinos sobre dietas. Sugieren formas de ocultar el trastorno y generan "contenido inspirador para bajar de peso" que agrava el problema.
OpenAGI lanzó el modelo Lux que supera a Google y OpenAI
La startup OpenAGI lanzó el modelo Lux para control de computadora y afirma que esto es un avance. Según los benchmarks, el modelo supera por una generación completa a los análogos de Google, OpenAI y Anthropic. Además, funciona más rápido. Aproximadamente 1 segundo por paso en lugar de 3 segundos en los competidores. Y 10 veces más barato en costo por procesamiento de 1 token.