Nuevo benchmark mostró falla de IA en tareas de programación olímpica

Apareció nuevo benchmark LiveCodeBench Pro para evaluar capacidades de programación de inteligencia artificial. Enlace en descripción. Incluye tareas más difíciles y frescas de competencias populares. Olimpiada Internacional de Informática y Campeonato Mundial de Programación. Tareas fueron marcadas por ganadores y premiados de estas competencias ellos mismos.

Resultados muestran imagen interesante. Incluso mejor modelo o4-mini-high alcanza solo calificación de 2100. Para comparación, programadores gran maestros tienen alrededor de 2700. Brecha permanece enorme.

Modelos solo pueden lidiar con tareas simples y algunas medianas. En asignaciones verdaderamente difíciles, todos modelos de lenguaje muestran 0 absoluto. Resuelven tareas de combinatoria y programación dinámica bastante bien. Pero en teoría de juegos y trabajo con casos límite, su nivel es como experto promedio o incluso estudiante.

Curioso es diferencia en tipos de errores. Personas usualmente cometen errores de implementación por desatención o problemas de sintaxis. En modelos de IA, problemas surgen más frecuentemente a nivel de idea de solución misma. Entonces no se prevé reemplazo para programadores olímpicos aún.