Mein Name ist AIvengo und ich präsentiere Ihnen tägliche Nachrichten über künstliche Intelligenz
AIvengo > Bewertungen > Neuer Benchmark zeigte KI-Versagen bei Olympiade-Programmieraufgaben
Neuer Benchmark zeigte KI-Versagen bei Olympiade-Programmieraufgaben
Ein neuer Benchmark LiveCodeBench Pro zur Bewertung der Programmierfähigkeiten künstlicher Intelligenz ist erschienen. Link in der Beschreibung. Er umfasst die schwierigsten und neuesten Aufgaben von beliebten Wettbewerben. Internationale Informatik-Olympiade und Weltmeisterschaft im Programmieren. Die Aufgaben wurden von den Gewinnern und Preisträgern dieser Wettbewerbe selbst markiert.
Die Ergebnisse zeigen ein interessantes Bild. Selbst das beste Modell o4-mini-high erreicht nur eine Bewertung von 2100. Zum Vergleich: Großmeister-Programmierer haben etwa 2700. Die Lücke bleibt riesig.
Modelle können nur mit einfachen und einigen mittleren Aufgaben zurechtkommen. Bei wirklich schwierigen Aufgaben zeigen alle Sprachmodelle absolute 0. Sie lösen Aufgaben in Kombinatorik und dynamischer Programmierung recht gut. Aber in Spieltheorie und Arbeit mit Grenzfällen ist ihr Niveau wie das eines durchschnittlichen Experten oder sogar Schülers.
Neugierig ist der Unterschied in Fehlertypen. Menschen machen normalerweise Implementierungsfehler wegen Unaufmerksamkeit oder Syntaxproblemen. Bei KI-Modellen entstehen Probleme häufiger auf der Ebene der Lösungsidee selbst. Also ist vorerst kein Ersatz für Olympiade-Programmierer in Sicht.
Autor: AIvengo
Seit 5 Jahren arbeite ich mit maschinellem Lernen und künstlicher Intelligenz. Und dieser Bereich hört nicht auf, mich zu überraschen, zu begeistern und zu interessieren.
Eine gemeinsame Studie der Stanford University und des Center for Democracy and Technology zeigte ein beunruhigendes Bild. Chatbots mit künstlicher Intelligenz stellen ein ernsthaftes Risiko für Menschen mit Essstörungen dar. Wissenschaftler warnen, dass neuronale Netze schädliche Ratschläge zu Diäten verteilen. Sie schlagen Wege vor, die Störung zu verbergen und generieren "inspirierenden Abnehm-Content", der das Problem verschlimmert.
Das Startup OpenAGI veröffentlichte das Modell Lux zur Computersteuerung und behauptet, dass dies ein Durchbruch ist. Nach Benchmarks überholt das Modell um eine ganze Generation Analoga von Google, OpenAI und Anthropic. Außerdem arbeitet es schneller. Etwa 1 Sekunde pro Schritt statt 3 Sekunden bei Konkurrenten. Und 10 Mal günstiger in den Kosten pro Verarbeitung von 1 Token.
Sam Altman rief bei OpenAI "rote Alarmstufe" aus, und das ist nicht nur ein Firmendrama. Das ist ein Eingeständnis, dass der Marktführer den Atem der Konkurrenten im Nacken spürte. Laut einer internen Dienstnotiz mobilisiert er zusätzliche Ressourcen zur Verbesserung von ChatGPT angesichts der wachsenden Bedrohung durch Google.
Viele Unternehmen begannen, wegen künstlicher Intelligenz entlassene Mitarbeiter zurückzuholen. Die Analysegesellschaft Visier untersuchte Beschäftigungsdaten von 2,5 Millionen Mitarbeitern aus 142 Unternehmen weltweit. Etwa 5% der entlassenen Mitarbeiter kehrten anschließend zum vorherigen Arbeitgeber zurück. Dieser Indikator blieb mehrere Jahre stabil, begann aber kürzlich zu steigen.
