La IA superó a los médicos 4,6 veces en la nueva prueba médica HealthBench
La compañía OpenAI presentó el sistema de evaluación de modelos de lenguaje HealthBench, que establece nuevos estándares para medir la efectividad de los sistemas de inteligencia artificial en el campo médico.
La herramienta fue desarrollada en colaboración con 262 médicos practicantes de 60 países del mundo. Una cobertura geográfica tan amplia permite tener en cuenta diferentes enfoques de diagnóstico y tratamiento, característicos de diferentes escuelas médicas y contextos culturales.
HealthBench se basa en una extensa base de datos de 5000 escenarios clínicos modelados a partir de casos médicos reales. La particularidad de la metodología radica en su enfoque integral. En lugar de preguntas aisladas, se utilizan diálogos sintéticos entre un asistente y un usuario, simulando la comunicación real en un entorno clínico.
El multilingüismo del benchmark proporciona una evaluación verdaderamente global de la inteligencia artificial. Lo que es de importancia crítica para los sistemas médicos que deben funcionar en diferentes entornos lingüísticos sin pérdida de precisión.
La evaluación de los modelos se realiza según 5 parámetros clave. Precisión de la información proporcionada, integridad de la respuesta, comprensión del contexto, calidad de la comunicación y seguimiento de instrucciones. Este análisis multifactorial permite identificar las fortalezas y debilidades de cada sistema de inteligencia artificial.
Los resultados de las pruebas demuestran una brecha significativa entre las capacidades de la inteligencia artificial y el ser humano. El modelo más efectivo o3 alcanzó una puntuación del 60%, seguido por Grok 3 con 54% y Gemini con 52%. A modo de comparación, los médicos practicantes sin el apoyo de la inteligencia artificial demuestran un resultado de aproximadamente 13%.
Los especialistas médicos también experimentan dificultades incluso al intentar mejorar las respuestas de la inteligencia artificial. Si bien con los modelos de generación anterior los médicos podían mejorar ligeramente la calidad de las respuestas, con los sistemas más nuevos la situación ha cambiado. La edición humana de las respuestas de inteligencia artificial de última generación en realidad reduce su calidad.
Creo que la brecha cuantitativa entre los indicadores de inteligencia artificial y los médicos es demasiado grande para explicarse por las características metodológicas de las pruebas. 60% frente a 13%. Teniendo en cuenta que el benchmark fue desarrollado con la participación de los propios profesionales médicos.
