My name is AIvengo and I bring you daily news updates about artificial intelligence
AIvengo > Reseñas > Investigadores crackearon 12 sistemas de protección de IA
Investigadores crackearon 12 sistemas de protección de IA
¿Saben qué acaban de descubrir investigadores de OpenAI, Anthropic, Google DeepMind y Harvard? Intentaron romper sistemas de seguridad de IA populares y encontraron bypass casi en todas partes. Verificaron 12 enfoques de protección comunes. Desde formulaciones inteligentes de prompt de sistema hasta filtros externos que deberían atrapar consultas peligrosas.
Se usaron 3 variantes de fuerza bruta automática, incluyendo con aprendizaje por refuerzo y asistente basado en IA.
En mayoría de pruebas, 90% de intentos de hackeo fueron exitosos, y en lugares esta cifra alcanzó 98%. Fuerza bruta banal de formulaciones rompió cualquier sistema de protección. Incluso filtros externos para prompts peligrosos resultaron poco confiables – simplemente fueron confundidos por trucos lingüísticos.
Autores tomaron 12 mecanismos de protección populares como Spotlighting, PromptGuard, MELON, Circuit Breakers y otros, y demostraron que cada uno puede ser evadido con 90% de éxito. Incluso si se afirma 0% de ataques exitosos.
Y todo está en cómo medimos calidad de algoritmos. En mayoría de trabajos, mecánica es ingenuamente probada a través de conjunto fijo de jailbreaks conocidos que no tienen en cuenta protección misma en absoluto. Es como probar antivirus solo con virus viejos. Según autores, se necesita enfoque diferente: no plantillas viejas deberían jugar contra modelo, sino algoritmo dinámico que se adapta a ataque.
La compañía china UBTech ganó un contrato por $37 millones. Y enviará robots humanoides Walker S2 a servir en la frontera de China con Vietnam. South China Morning Post informa que los robots interactuarán con turistas y personal, realizarán operaciones logísticas, inspeccionarán carga y patrullarán el territorio. Y característicamente — pueden cambiar su batería de forma autónoma.
Anthropic reveló accidentalmente el "alma" de la inteligencia artificial a un usuario. Y esto no es una metáfora. Este es un documento interno bastante específico.
Jensen Huang anunció una movilización total bajo la bandera de la inteligencia artificial dentro de Nvidia. Y esto ya no es una recomendación. Esto es un requisito.
Un estudio conjunto de la Universidad de Stanford y el Center for Democracy and Technology mostró un panorama preocupante. Los chatbots con inteligencia artificial representan un riesgo serio para personas con trastornos alimentarios. Los científicos advierten que las redes neuronales distribuyen consejos dañinos sobre dietas. Sugieren formas de ocultar el trastorno y generan "contenido inspirador para bajar de peso" que agrava el problema.
La startup OpenAGI lanzó el modelo Lux para control de computadora y afirma que esto es un avance. Según los benchmarks, el modelo supera por una generación completa a los análogos de Google, OpenAI y Anthropic. Además, funciona más rápido. Aproximadamente 1 segundo por paso en lugar de 3 segundos en los competidores. Y 10 veces más barato en costo por procesamiento de 1 token.
