Neuer Benchmark zeigte KI-Versagen bei Olympiade-Programmieraufgaben

Ein neuer Benchmark LiveCodeBench Pro zur Bewertung der Programmierfähigkeiten künstlicher Intelligenz ist erschienen. Link in der Beschreibung. Er umfasst die schwierigsten und neuesten Aufgaben von beliebten Wettbewerben. Internationale Informatik-Olympiade und Weltmeisterschaft im Programmieren. Die Aufgaben wurden von den Gewinnern und Preisträgern dieser Wettbewerbe selbst markiert.

Die Ergebnisse zeigen ein interessantes Bild. Selbst das beste Modell o4-mini-high erreicht nur eine Bewertung von 2100. Zum Vergleich: Großmeister-Programmierer haben etwa 2700. Die Lücke bleibt riesig.

Modelle können nur mit einfachen und einigen mittleren Aufgaben zurechtkommen. Bei wirklich schwierigen Aufgaben zeigen alle Sprachmodelle absolute 0. Sie lösen Aufgaben in Kombinatorik und dynamischer Programmierung recht gut. Aber in Spieltheorie und Arbeit mit Grenzfällen ist ihr Niveau wie das eines durchschnittlichen Experten oder sogar Schülers.

Neugierig ist der Unterschied in Fehlertypen. Menschen machen normalerweise Implementierungsfehler wegen Unaufmerksamkeit oder Syntaxproblemen. Bei KI-Modellen entstehen Probleme häufiger auf der Ebene der Lösungsidee selbst. Also ist vorerst kein Ersatz für Olympiade-Programmierer in Sicht.

Autor: AIvengo

Seit 5 Jahren arbeite ich mit maschinellem Lernen und künstlicher Intelligenz. Und dieser Bereich hört nicht auf, mich zu überraschen, zu begeistern und zu interessieren.

Gehalt bis $170.000: Was SpaceX KI-Entwicklern anbietet

SpaceX macht eine unerwartete Wendung in seiner technologischen Strategie. Elon Musks Unternehmen hat Stellenausschreibungen für Software-Ingenieure im Bereich der künstlichen Intelligenz eröffnet. Es bildet ein Team, das sich mit der Lösung komplexester Datenverarbeitungsaufgaben für Trägerraketen und Raumfahrzeuge beschäftigen wird.

Musk mit $248 Milliarden kauft keine Arbeits-PCs, aber spioniert Mitarbeiter aus

Das Unternehmen xAI begann, seine Mitarbeiter direkt auf ihren persönlichen Computern zu überwachen! Mitarbeiter, die die künstliche Intelligenz Grok von ihren Geräten trainieren, wurden verpflichtet, Überwachungsprogramme zu installieren.

Kimi-K2 mit 1 Billion Parametern übertraf GPT-4.1 im Programmieren

Das chinesische Technologieunternehmen Moonshot AI stellte einen neuen Spieler in der KI-Arena vor! Lernen Sie Kimi-K2 kennen. Das ist ein großes Sprachmodell mit offenem Quellcode, bereit, anerkannte Industrieführer wie Claude Sonnet 4 und GPT-4.1 herauszufordern. Und ein so lauter und mächtiger Start erinnert an das Erscheinen von Deepseek.

OpenAI bereitet erstes offenes Modell vor, nicht schwächer als O3 Mini

Das Unternehmen OpenAI bereitet sich darauf vor, sein erstes offenes Sprachmodell zu veröffentlichen. Wird seinem Namen gerecht, sozusagen. Das ist eine ernste Wende für das Unternehmen, das früher seine mächtigen Entwicklungen geschlossen hielt.

Grok 4 erreichte 57% im "Letzten Examen" gegen 22% bei Gemini 2.5 Pro

Elon Musk stellte eine neue Version seines neuronalen Netzwerks vor – Grok 4. Die maximale Version – Grok 4 Heavy – kann mehrere Berechnungen gleichzeitig ausführen und erreicht 57% im schwierigsten Test "Das Letzte Examen der Menschheit". Zum Vergleich: der vorherige Spitzenreiter Gemini 2.5 Pro zeigte nur 22%.