Nuevo benchmark mostró falla de IA en tareas de programación olímpica
Apareció nuevo benchmark LiveCodeBench Pro para evaluar capacidades de programación de inteligencia artificial. Enlace en descripción. Incluye tareas más difíciles y frescas de competencias populares. Olimpiada Internacional de Informática y Campeonato Mundial de Programación. Tareas fueron marcadas por ganadores y premiados de estas competencias ellos mismos.
Resultados muestran imagen interesante. Incluso mejor modelo o4-mini-high alcanza solo calificación de 2100. Para comparación, programadores gran maestros tienen alrededor de 2700. Brecha permanece enorme.
Modelos solo pueden lidiar con tareas simples y algunas medianas. En asignaciones verdaderamente difíciles, todos modelos de lenguaje muestran 0 absoluto. Resuelven tareas de combinatoria y programación dinámica bastante bien. Pero en teoría de juegos y trabajo con casos límite, su nivel es como experto promedio o incluso estudiante.
Curioso es diferencia en tipos de errores. Personas usualmente cometen errores de implementación por desatención o problemas de sintaxis. En modelos de IA, problemas surgen más frecuentemente a nivel de idea de solución misma. Entonces no se prevé reemplazo para programadores olímpicos aún.
Latest News
Los chatbots de IA generan contenido que agrava los trastornos alimentariosUn estudio conjunto de la Universidad de Stanford y el Center for Democracy and Technology mostró un panorama preocupante. Los chatbots con inteligencia artificial representan un riesgo serio para personas con trastornos alimentarios. Los científicos advierten que las redes neuronales distribuyen consejos dañinos sobre dietas. Sugieren formas de ocultar el trastorno y generan "contenido inspirador para bajar de peso" que agrava el problema.
OpenAGI lanzó el modelo Lux que supera a Google y OpenAILa startup OpenAGI lanzó el modelo Lux para control de computadora y afirma que esto es un avance. Según los benchmarks, el modelo supera por una generación completa a los análogos de Google, OpenAI y Anthropic. Además, funciona más rápido. Aproximadamente 1 segundo por paso en lugar de 3 segundos en los competidores. Y 10 veces más barato en costo por procesamiento de 1 token.
Altman declaró alerta roja en OpenAI debido a los éxitos de GoogleSam Altman declaró "nivel de alerta roja" en OpenAI, y esto no es solo drama corporativo. Esta es una admisión de que el líder del mercado sintió el aliento de los competidores en la espalda. Según un memorándum interno, está movilizando recursos adicionales para mejorar ChatGPT ante la creciente amenaza de Google.
