OpenAI-Modelle bewiesen Überlegenheit bei mathematischen Aufgaben
Zum ersten Mal wurde ein umfangreicher Test ihrer Fähigkeiten an neuen mathematischen Olympiadeaufgaben durchgeführt, und der erste Teil der prestigeträchtigen American Invitational Mathematics Examination (AIME) wurde zur Plattform für den „Wettbewerb“.
Der Test umfasste 15 Aufgaben, die den KI-Modellen jeweils viermal vorgelegt wurden, um zuverlässige Ergebnisse zu erhalten. Das Bewertungssystem basierte auf einem Farbschema: Grün bedeutete erfolgreiche Lösung in allen vier Versuchen, Gelb – ein bis drei erfolgreiche Versuche, Rot – vollständiges Fehlen korrekter Lösungen.
Die Ergebnisse waren unerwartet. Die OpenAI-Modelle zeigten eine deutliche Überlegenheit gegenüber der Konkurrenz, einschließlich des vielbeachteten chinesischen Modells DeepSeek R1. Besonders beeindruckende Ergebnisse zeigte das o3-mini-Modell von OpenAI mit einer Genauigkeit von 78,33%, obwohl dies niedriger ist als die zuvor gemeldeten 87,3% bei den Tests des Vorjahres.
Interessanterweise verbesserte das o1-Modell von OpenAI sogar seine Leistung im Vergleich zum Vorjahr und steigerte die Genauigkeit von 74,4% auf 76,67%. Währenddessen zeigte DeepSeek R1 einen deutlichen Effizienzrückgang – von 79,8% im Vorjahr auf 65% bei neuen Aufgaben. Noch dramatischer war der Leistungsabfall der destillierten Version R1-Qwen-14b – von 69,7% auf 50%.
Besondere Aufmerksamkeit verdient das Modell Claude 3.6 Sonnet, das unerwartet extrem niedrige Ergebnisse zeigte und praktisch keine Aufgabe „out of the box“ lösen konnte.
Wichtig ist zu bemerken, dass später mindestens drei Aufgaben aus dem Test öffentlich im Internet verfügbar gefunden wurden, was die Reinheit des Experiments beeinflusst haben könnte. Dennoch liefern die erhaltenen Ergebnisse interessanten Stoff zum Nachdenken über die Fähigkeit verschiedener KI-Modelle zur Verallgemeinerung und ihre Widerstandsfähigkeit gegen Überanpassung.
