CodeClash mostró enorme brecha entre IA y programador humano

Se presentó CodeClash. Este es nuevo punto de referencia para evaluar habilidades de programación en grandes modelos de lenguaje. Y mostró: brecha con nivel humano es enorme.

Autores notaron problema fundamental de puntos de referencia actuales. Están vinculados a tareas específicas, claramente formuladas. Es decir, corregir ciertos errores o escribir pruebas puntuales. Sin embargo, programadores reales no pasan todo día resolviendo tareas aisladas.

Así surgió CodeClash. Punto de referencia en que grandes modelos de lenguaje compiten en torneos de múltiples rondas para crear mejor base de código para lograr algún objetivo. En este caso usando ejemplo de 6 juegos, pero en general puede ser cualquier cosa donde se puedan hacer simulaciones y medir calidad. Es decir, no es modelo mismo el que juega, sino código que escribe y mejora.

Cada ronda procede en 2 fases: agentes editan su código, luego sus bases de código compiten entre sí. Ganadores se determinan según criterios de juego específico. Cada ronda realiza 1000 juegos.

Y luego comienzan resultados tristes. Brecha con nivel humano resultó ser significativa. Autores tomaron mejor solución para uno de juegos llamado gigachad. Modelo Claude Sonnet 4.5 no ganó ni una sola de 150 rondas contra él. Eso es 0 de 37.5 mil simulaciones. Mientras tanto bot humano permaneció sin cambios durante todas rondas, no fue adaptado.

Resulta que modelos de lenguaje resuelven bien tareas aisladas. Pero cuando se trata de escritura de código real que debe competir y mejorar – pierden completamente contra humano.