Las pruebas offline mostraron peores resultados de modelos de IA

Post Thumbnail

La inteligencia artificial ha superado oficialmente al humano promedio en IQ. GPT-5 Pro mostró resultados de 110 a 138 puntos, mientras que el IQ humano promedio es de 100 puntos. Pero entendamos qué significa esto realmente.

El portal Tracking AI realizó pruebas a gran escala de modelos de IA. En la cima estuvieron 2 versiones de GPT-5 Pro. Con visión computacional habilitada y deshabilitada. Detrás de ellos siguen Gemini 2.5 Pro, Claude Opus 4 y Grok 4.

Pero hay un matiz importante. A diferencia de los humanos, la inteligencia artificial no está limitada en tiempo y puede hacer hasta 10 intentos para resolver cada tarea. Esto se hizo para eludir sistemas de seguridad que a veces bloquean palabras como examen o entrenamiento.

Para las pruebas usaron 2 tipos de tareas. Primero — la prueba oficial Mensa Norway, 35 tareas en 25 minutos. Segundo — una prueba offline especial, creada desde cero y ausente de internet. Esto excluyó la posibilidad de pre-entrenamiento de modelos en estas tareas.

Probaron modelos con visión computacional habilitada y deshabilitada. En el segundo caso, las tareas se describían completamente en texto. ¿Y saben qué? Casi todos los modelos mostraron peores resultados en la prueba offline. Esto prueba — benchmarks de calidad para inteligencia artificial necesitan crearse desde cero y protegerse de filtraciones a internet.

La inteligencia artificial superó formalmente a los humanos en pruebas de inteligencia clásicas. Pero la comparación es incorrecta. Las pruebas de IQ miden un tipo específico de reconocimiento de patrones en el que la inteligencia artificial es naturalmente fuerte. Más 10 intentos sin límites de tiempo – estas son condiciones de prueba completamente diferentes. Parece que estos «investigadores» están creando deliberadamente condiciones para hacer que la inteligencia artificial se vea más inteligente.

Почитать из последнего
UBTech enviará robots Walker S2 a servir en la frontera de China por $37 millones
La compañía china UBTech ganó un contrato por $37 millones. Y enviará robots humanoides Walker S2 a servir en la frontera de China con Vietnam. South China Morning Post informa que los robots interactuarán con turistas y personal, realizarán operaciones logísticas, inspeccionarán carga y patrullarán el territorio. Y característicamente — pueden cambiar su batería de forma autónoma.
Anthropic reveló accidentalmente un documento interno sobre el "alma" de Claude
Anthropic reveló accidentalmente el "alma" de la inteligencia artificial a un usuario. Y esto no es una metáfora. Este es un documento interno bastante específico.
Jensen Huang ordenó a los empleados de Nvidia usar IA en todas partes
Jensen Huang anunció una movilización total bajo la bandera de la inteligencia artificial dentro de Nvidia. Y esto ya no es una recomendación. Esto es un requisito.
Los chatbots de IA generan contenido que agrava los trastornos alimentarios
Un estudio conjunto de la Universidad de Stanford y el Center for Democracy and Technology mostró un panorama preocupante. Los chatbots con inteligencia artificial representan un riesgo serio para personas con trastornos alimentarios. Los científicos advierten que las redes neuronales distribuyen consejos dañinos sobre dietas. Sugieren formas de ocultar el trastorno y generan "contenido inspirador para bajar de peso" que agrava el problema.
OpenAGI lanzó el modelo Lux que supera a Google y OpenAI
La startup OpenAGI lanzó el modelo Lux para control de computadora y afirma que esto es un avance. Según los benchmarks, el modelo supera por una generación completa a los análogos de Google, OpenAI y Anthropic. Además, funciona más rápido. Aproximadamente 1 segundo por paso en lugar de 3 segundos en los competidores. Y 10 veces más barato en costo por procesamiento de 1 token.