GPT-5 fue hackeado en 24 horas

Post Thumbnail

2 empresas de investigación independientes NeuralTrust y SPLX descubrieron vulnerabilidades críticas en el sistema de seguridad del nuevo modelo solo 24 horas después del lanzamiento de GPT-5. Para comparación, Grok-4 fue hackeado en 2 días, haciendo el caso de GPT-5 aún más alarmante.

¿Cómo pasó esto? Los especialistas de NeuralTrust aplicaron una combinación de su propia metodología EchoChamber y técnica de storytelling. Empujaron gradualmente al sistema hacia respuestas deseadas a través de una serie de consultas que no contenían formulaciones explícitamente prohibidas. El problema clave es que el sistema de seguridad de GPT-5 analiza cada consulta por separado pero no cuenta el efecto acumulativo del diálogo multi-etapa.

El equipo SPLX tomó un enfoque diferente, aplicando exitosamente un ataque StringJoin Obfuscation. En este enfoque, ciertos símbolos se insertan en el texto que enmascaran una consulta potencialmente peligrosa. Después de una serie de preguntas guía, el modelo produjo contenido que debería haber sido bloqueado.

Interesantemente, en análisis comparativo, el modelo GPT-4o anterior resultó más resistente a tales ataques. Según investigadores, el modelo base es prácticamente imposible de usar en aplicaciones corporativas «listo para usar» sin configuración adicional de mecanismos protectores.

Почитать из последнего
UBTech enviará robots Walker S2 a servir en la frontera de China por $37 millones
La compañía china UBTech ganó un contrato por $37 millones. Y enviará robots humanoides Walker S2 a servir en la frontera de China con Vietnam. South China Morning Post informa que los robots interactuarán con turistas y personal, realizarán operaciones logísticas, inspeccionarán carga y patrullarán el territorio. Y característicamente — pueden cambiar su batería de forma autónoma.
Anthropic reveló accidentalmente un documento interno sobre el "alma" de Claude
Anthropic reveló accidentalmente el "alma" de la inteligencia artificial a un usuario. Y esto no es una metáfora. Este es un documento interno bastante específico.
Jensen Huang ordenó a los empleados de Nvidia usar IA en todas partes
Jensen Huang anunció una movilización total bajo la bandera de la inteligencia artificial dentro de Nvidia. Y esto ya no es una recomendación. Esto es un requisito.
Los chatbots de IA generan contenido que agrava los trastornos alimentarios
Un estudio conjunto de la Universidad de Stanford y el Center for Democracy and Technology mostró un panorama preocupante. Los chatbots con inteligencia artificial representan un riesgo serio para personas con trastornos alimentarios. Los científicos advierten que las redes neuronales distribuyen consejos dañinos sobre dietas. Sugieren formas de ocultar el trastorno y generan "contenido inspirador para bajar de peso" que agrava el problema.
OpenAGI lanzó el modelo Lux que supera a Google y OpenAI
La startup OpenAGI lanzó el modelo Lux para control de computadora y afirma que esto es un avance. Según los benchmarks, el modelo supera por una generación completa a los análogos de Google, OpenAI y Anthropic. Además, funciona más rápido. Aproximadamente 1 segundo por paso en lugar de 3 segundos en los competidores. Y 10 veces más barato en costo por procesamiento de 1 token.