Komplexester KI-Benchmark gestartet
Ein neuer Benchmark HUMANITY’S LAST EXAM wurde vorgestellt, der 3000 schwierige Fragen aus Dutzenden von Fachgebieten umfasst. Die Fragen wurden durch einen mehrstufigen Prozess ausgewählt.
Aus 13000 vorgeschlagenen Fragen, bei denen führende KI-Modelle schlechte Ergebnisse zeigten, wählten Experten 3000 aus und modifizierten sie für Qualität und Eindeutigkeit.
Die Autoren der besten 50 Fragen erhielten je 5000 Dollar. Die nächsten 500 Fragen brachten ihren Schöpfern je 500 Dollar. Die Benchmark-Führer – o 1 und R 1 zeigen Ergebnisse unter 10%. R 1 führt im Textteil, kann aber keine Bilder verarbeiten, die 10% des Tests ausmachen.
HUMANITY’S LAST EXAM soll die Grenzen der KI-Fähigkeiten bewerten, da bestehende Tests von Modellen mit über 90% Genauigkeit gemeistert wurden. Erste Ergebnisse sind schockierend: Selbst GPT-4 o zeigte nur 3,3% Genauigkeit, das beste Ergebnis liegt bei 9,4%.
Der Benchmark bewertet auch die Selbstkalibrierung der Modelle – ihre Fähigkeit, das Vertrauen in ihre eigenen Antworten einzuschätzen. R 1 führt mit deutlichem Vorsprung, aber der Kalibrierungsfehler übersteigt immer noch 80%.
Die Autoren erwarten, dass neue Modelle bis Jahresende 50% Genauigkeit bei diesem schwierigen neuen Test erreichen könnten. Offenbar reicht es aus, Menschen dafür zu bezahlen, wirklich schwierige Fragen zu entwickeln, um KI beim Testen zu schlagen.
Autor: AIvengo
Seit 5 Jahren arbeite ich mit maschinellem Lernen und künstlicher Intelligenz. Und dieser Bereich hört nicht auf, mich zu überraschen, zu begeistern und zu interessieren.
Dongfeng setzt 1,7m große Walker S Roboter mit 41 Servoantrieben einDongfeng Motor vereint Kräfte mit Ubtech Robotics, um innovative Walker S Roboter in die Produktionslinien zu integrieren. Diese technologischen Wunder mit einer Größe von 1 Meter und 70 Zentimetern sind bereit, traditionelle Automobilmontage-Prozesse zu transformieren. Der Generalmanager von Dongfeng Motor betont, dass die Implementierung künstlicher Intelligenz in diesen Robotern die Qualität der Überprüfung und Montage von Komponenten erheblich verbessern wird.
MIT-Doktorand reduzierte Gemälderestaurierung von 230 auf 3,5 StundenDer MIT-Doktorand Alex Kachkin entwickelte eine coole Methode zur Gemälderestaurierung mit Hilfe künstlicher Intelligenz. Die die Arbeitszeit von vielen Monaten auf wenige Stunden verkürzt. Als Demonstration restaurierte er ein Werk eines unbekannten niederländischen Meisters des 15. Jahrhunderts, das schwer von der Zeit gelitten hatte.
KI-Prothese aus Kanada analysiert Objekte und entscheidet, wie sie zu greifen sindKünstliche Intelligenz verleiht Prothesen Selbständigkeit! Wissenschaftler der Memorial University of Newfoundland schufen eine revolutionäre Armprothese, die buchstäblich selbst "denkt". Im Gegensatz zu traditionellen Modellen, die das Ablesen von Muskelsignalen über Sensoren erfordern, ist das neue Gerät vollständig autonom.
DeepSeek packte LLM-Engine in 1200 Zeilen Python-CodeDas DeepSeek-Team stellte nano-vLLM vor. Das ist eine leichtgewichtige und kompakte Engine zum Ausführen großer Sprachmodelle. Die die Vorstellung von Code-Effizienz verändern könnte. Erstaunlich, aber die gesamte Funktionalität passte in nur 1200 Zeilen Python-Code! Das ist echter technologischer Minimalismus in der Welt der künstlichen Intelligenz. Traditionelle Engines wie diese leiden bei all ihrer Macht oft unter einer überladenen Codebasis. Was ihre Modifikation zu einer echten Prüfung für Entwickler macht. Nano-vLLM löst dieses Problem, indem es ein einfaches, aber mächtiges Tool ohne unnötige Komplexität anbietet. Der Code ist offen.
Tesla-Robotaxi-Versagen: 11 Verkehrsverstöße in den ersten Tagen von 20 AutosDer Traum von Robotaxis stößt auf harte Realität! Tesla startete öffentliche Tests autonomer Taxis in Austin, aber die Ergebnisse waren weit entfernt von dem versprochenen technologischen Wunder. In den ersten Testtagen wurden mindestens 11 schwere Verkehrsverstöße registriert. Und das bei nur 20 Fahrzeugen, die für einen begrenzten Kreis von Bloggern ausgewählt wurden. Philip Koopman, Professor an der Carnegie Mellon University und Experte für autonome Technologien, verhehlt seine Überraschung nicht: "Das ist schrecklich schnell für das Auftreten so vieler Videos mit instabilem Fahren".
