L’IA a surpassé les médecins de 4,6 fois dans le nouveau test médical HealthBench
La société OpenAI a présenté le système d’évaluation des modèles de langage HealthBench, qui établit de nouvelles normes pour mesurer l’efficacité des systèmes d’intelligence artificielle dans le domaine médical.
L’outil a été développé en collaboration avec 262 médecins praticiens de 60 pays du monde. Une couverture géographique aussi large permet de prendre en compte différentes approches de diagnostic et de traitement, caractéristiques de différentes écoles médicales et contextes culturels.
HealthBench est basé sur une vaste base de données de 5000 scénarios cliniques modélisés sur des cas médicaux réels. La particularité de la méthodologie réside dans son approche globale. Au lieu de questions isolées, des dialogues synthétiques entre un assistant et un utilisateur sont utilisés, simulant une communication réelle dans un environnement clinique.
Le multilinguisme du benchmark fournit une évaluation véritablement mondiale de l’intelligence artificielle. Ce qui est d’une importance critique pour les systèmes médicaux qui doivent fonctionner dans différents environnements linguistiques sans perte de précision.
L’évaluation des modèles est effectuée selon 5 paramètres clés. Exactitude des informations fournies, exhaustivité de la réponse, compréhension du contexte, qualité de la communication et respect des instructions. Une telle analyse multifactorielle permet d’identifier les forces et les faiblesses de chaque système d’intelligence artificielle.
Les résultats des tests démontrent un écart significatif entre les capacités de l’intelligence artificielle et de l’homme. Le modèle le plus efficace o3 a atteint un score de 60%, suivi par Grok 3 avec 54% et Gemini avec 52%. À titre de comparaison, les médecins praticiens sans soutien d’intelligence artificielle démontrent un résultat d’environ 13%.
Les spécialistes médicaux éprouvent également des difficultés même en essayant d’améliorer les réponses de l’intelligence artificielle. Si avec les modèles de génération précédente, les médecins pouvaient légèrement améliorer la qualité des réponses, avec les systèmes les plus récents, la situation a changé. La modification humaine des réponses d’intelligence artificielle de dernière génération réduit en fait leur qualité.
Je pense que l’écart quantitatif entre les indicateurs de l’intelligence artificielle et des médecins est trop important pour être expliqué par des particularités méthodologiques du test. 60% contre 13%. Compte tenu du fait que le benchmark a été développé avec la participation des professionnels médicaux eux-mêmes.
