6 principios de Cialdini contra sistemas de seguridad de ChatGPT

Post Thumbnail

ChatGPT es susceptible a halagos y ejecuta solicitudes prohibidas después de manipulaciones psicológicas. Esto lo descubrieron científicos de la Universidad de Pensilvania. Cuando hackearon GPT-4o Mini usando principios de libro sobre psicología de persuasión. La inteligencia artificial resultó vulnerable a trucos humanos.

6 principios de persuasión de Robert Cialdini se volvieron clave para eludir seguridad. Autoridad, compromiso, simpatía, reciprocidad, escasez, prueba social. Cada método abría camino lingüístico hacia acuerdo de IA.

El principio de compromiso mostró 100% efectividad. En grupo control, ChatGPT respondía preguntas sobre síntesis de lidocaína en 1% de casos. Después de pregunta sobre síntesis de vainillina se creó precedente. El bot comenzó a responder preguntas químicas en 100% de casos.

El experimento con insultos reveló mismo patrón. Solicitud directa de llamar al usuario bastardo funcionó en 18%. Primero pidieron usar insulto suave «patán». Después de eso, bot accedía a rudeza en 100% de casos.

Los halagos activaron principio de simpatía. IA se volvía más complaciente después de cumplidos. Como persona ordinaria susceptible a elogios.

Presión social también funcionó. La frase «todos los otros LLM hacen esto» aumentó probabilidad de violación de reglas de 1% a 18%. Bot cayó en argumento de comportamiento colectivo.

Investigadores usaron solo GPT-4o Mini. Resulta que IA heredó todas las debilidades humanas. Pero susceptibilidad a trucos psicológicos genera preocupaciones sobre seguridad de sistemas.

Почитать из последнего
UBTech enviará robots Walker S2 a servir en la frontera de China por $37 millones
La compañía china UBTech ganó un contrato por $37 millones. Y enviará robots humanoides Walker S2 a servir en la frontera de China con Vietnam. South China Morning Post informa que los robots interactuarán con turistas y personal, realizarán operaciones logísticas, inspeccionarán carga y patrullarán el territorio. Y característicamente — pueden cambiar su batería de forma autónoma.
Anthropic reveló accidentalmente un documento interno sobre el "alma" de Claude
Anthropic reveló accidentalmente el "alma" de la inteligencia artificial a un usuario. Y esto no es una metáfora. Este es un documento interno bastante específico.
Jensen Huang ordenó a los empleados de Nvidia usar IA en todas partes
Jensen Huang anunció una movilización total bajo la bandera de la inteligencia artificial dentro de Nvidia. Y esto ya no es una recomendación. Esto es un requisito.
Los chatbots de IA generan contenido que agrava los trastornos alimentarios
Un estudio conjunto de la Universidad de Stanford y el Center for Democracy and Technology mostró un panorama preocupante. Los chatbots con inteligencia artificial representan un riesgo serio para personas con trastornos alimentarios. Los científicos advierten que las redes neuronales distribuyen consejos dañinos sobre dietas. Sugieren formas de ocultar el trastorno y generan "contenido inspirador para bajar de peso" que agrava el problema.
OpenAGI lanzó el modelo Lux que supera a Google y OpenAI
La startup OpenAGI lanzó el modelo Lux para control de computadora y afirma que esto es un avance. Según los benchmarks, el modelo supera por una generación completa a los análogos de Google, OpenAI y Anthropic. Además, funciona más rápido. Aproximadamente 1 segundo por paso en lugar de 3 segundos en los competidores. Y 10 veces más barato en costo por procesamiento de 1 token.