Amenazas y $1 billón no mejoran el trabajo de las redes neuronales

Seguramente han visto estos «trucos secretos» para controlar redes neuronales. Como amenazas, promesas de recompensas, manipulaciones emocionales. ¿Pero realmente funcionan? Investigadores de la Universidad de Pennsylvania y Wharton School realizaron un experimento a gran escala con 5 modelos avanzados: Gemini 1.5 Flash, Gemini 2.0 Flash, GPT-4o, GPT-4o-mini y GPT o4-mini.

A cada modelo le hicieron preguntas de nivel PhD en ciencias naturales y problemas complejos de ingeniería. Para excluir fluctuaciones aleatorias, cada consulta se repitió 25 veces.

¡Los resultados fueron interesantes! Ninguna de las 9 técnicas manipulativas mostró mejora estadísticamente significativa en la precisión de respuestas. ¡Ni amenazas de «patear un cachorro», ni promesas de $1 billón, ni historias desgarradoras sobre una madre enferma ayudaron a los modelos a dar respuestas de mejor calidad!

Además, estos «trucos» hicieron los resultados menos estables. En algunos casos la precisión aumentó 36 puntos porcentuales, mientras en otros cayó 35! Incluso se documentaron casos donde el modelo ignoró completamente la pregunta principal, «quedándose atascado» en la parte manipulativa del prompt.

En lugar de trucos dudosos, los investigadores recomiendan una estrategia verdaderamente efectiva. Formulación clara de la tarea, especificación del formato de respuesta deseado y proporcionar contexto relevante.