Post Thumbnail

Investigador eludió protección de Claude y obtuvo instrucciones para crear sarín

Sistemas modernos de inteligencia artificial frecuentemente se comparan con armas de destrucción masiva por su peligro potencial. Y caso reciente demostró qué tan justificadas son estas preocupaciones. Compañía Anthropic creó para su inteligencia artificial Claude el prompt del sistema más extenso conteniendo 25,000 tokens o aproximadamente 17,000 palabras. Para comparación, prompt del sistema de ChatGPT es solo cerca de 2,200 palabras. Y esto es solo 13% del volumen de instrucciones de Claude. Entonces, a pesar de tal protección, investigadores encontraron maneras de eludir limitaciones.

Primero, una persona llamada Asgeir Thor pudo convencer a Claude de ignorar prompt del sistema, y luego otra persona llamada Ian MacKenzie fue más lejos. Después de 6 horas de trabajo con Claude versión 4, obtuvo instrucción detallada de 15 páginas para fabricación de sarín, describiendo todas etapas clave de producción de armas químicas.

Y esto refuta afirmaciones de tecno-optimistas de que prompts del sistema protegen confiablemente contra abuso. Y hay detalle aquí – muchos intentaron encontrar instrucciones detalladas similares usando Google, pero sin éxito. Y en combinación con sistemas avanzados de inteligencia artificial, obtener tal información resultó posible. Este caso confirma palabras de científico famoso y profesor Stanislas Dehaene sobre riesgos de inteligencia artificial: “¡No es tiempo de ser idiotas!”

Autor: AIvengo
Latest News
Sam Altman promete devolver humanidad a ChatGPT

Jefe de OpenAI Sam Altman hizo declaración después de numerosas protestas fuera de línea y en línea contra apagado de modelo GPT-4o. Y luego encendido, pero con router salvaje. Hablé sobre esto semana pasada con máximo detalle. Cita directa de jefe de OpenAI.

IA cobra vida: Por qué cofundador de Anthropic teme su creación

Cofundador de Anthropic Jack Clark publicó ensayo que causa malestar. Escribió sobre naturaleza de inteligencia artificial moderna, y sus conclusiones suenan como advertencia.

Escándalo en foro Cursor: IA de agente es marketing, no magia

Estalló escándalo real en foro Cursor. Usuarios se quejan masivamente: todo este bombo alrededor de IA de agente - puro marketing. Y no magia que nos prometieron.

Google enterró idea de médico de IA omnipotente

Compañía Google publicó informe sobre Health AI Agents de 150 páginas. Eso es 7,000 anotaciones, más de 1,100 horas de trabajo experto. Enlace en descripción. Números impresionantes, sí. Pero punto no está en métricas. Punto es que enterraron idea misma de médico omnipotente de IA. Y esto es quizás cosa más honesta que pasó en esta industria recientemente.

Adolescentes en TikTok asustan a padres con vagabundos falsos de IA

¿Saben qué se considera broma divertida entre adolescentes ahora? Enviar a padres foto de vagabundo sin hogar en su propia sala. IA dibuja, TikTok aprueba, y que padres tengan histeria. Ese es tipo de diversión circulando por redes sociales.