Mein Name ist AIvengo und ich präsentiere Ihnen tägliche Nachrichten über künstliche Intelligenz
Komplexester KI-Benchmark gestartet
Ein neuer Benchmark HUMANITY’S LAST EXAM wurde vorgestellt, der 3000 schwierige Fragen aus Dutzenden von Fachgebieten umfasst. Die Fragen wurden durch einen mehrstufigen Prozess ausgewählt.
Aus 13000 vorgeschlagenen Fragen, bei denen führende KI-Modelle schlechte Ergebnisse zeigten, wählten Experten 3000 aus und modifizierten sie für Qualität und Eindeutigkeit.
Die Autoren der besten 50 Fragen erhielten je 5000 Dollar. Die nächsten 500 Fragen brachten ihren Schöpfern je 500 Dollar. Die Benchmark-Führer – o 1 und R 1 zeigen Ergebnisse unter 10%. R 1 führt im Textteil, kann aber keine Bilder verarbeiten, die 10% des Tests ausmachen.
HUMANITY’S LAST EXAM soll die Grenzen der KI-Fähigkeiten bewerten, da bestehende Tests von Modellen mit über 90% Genauigkeit gemeistert wurden. Erste Ergebnisse sind schockierend: Selbst GPT-4 o zeigte nur 3,3% Genauigkeit, das beste Ergebnis liegt bei 9,4%.
Der Benchmark bewertet auch die Selbstkalibrierung der Modelle – ihre Fähigkeit, das Vertrauen in ihre eigenen Antworten einzuschätzen. R 1 führt mit deutlichem Vorsprung, aber der Kalibrierungsfehler übersteigt immer noch 80%.
Die Autoren erwarten, dass neue Modelle bis Jahresende 50% Genauigkeit bei diesem schwierigen neuen Test erreichen könnten. Offenbar reicht es aus, Menschen dafür zu bezahlen, wirklich schwierige Fragen zu entwickeln, um KI beim Testen zu schlagen.
Autor: AIvengo
Seit 5 Jahren arbeite ich mit maschinellem Lernen und künstlicher Intelligenz. Und dieser Bereich hört nicht auf, mich zu überraschen, zu begeistern und zu interessieren.
Die Investition von Taiwan Semiconductor Manufacturing Co. (TSMC) in Höhe von 100 Milliarden Dollar zur Erweiterung der Produktion in den Vereinigten Staaten ist "eine großartige Nachricht", sagte Qualcomm-CEO Cristiano Amon in einem Interview mit CNBC am Dienstag, dem 4. März 2025. Seinen Angaben zufolge trägt dies zur Diversifizierung der Halbleiterproduktionsstandorte bei.
Der private Suchdienst DuckDuckGo baut weiterhin seine Position im Bereich der generativen künstlichen Intelligenz aus. Laut einem am Donnerstag, dem 6. März 2025, veröffentlichten Blog-Beitrag gab das Unternehmen den Abschluss der Beta-Tests seiner Chat-Schnittstelle bekannt, die jetzt offiziell Duck.ai heißt und den umständlicheren Namen DuckDuckGo AI Chat aufgibt.
Der Milliardär und Eigentümer der Los Angeles Times, Patrick Soon-Shiong, der ein neues KI-Tool zur Generierung gegensätzlicher Perspektiven zu Meinungsbeiträgen vorstellte, wusste nicht, dass das System weniger als 24 Stunden nach dem Start Pro-KKK-Argumente erstellt hatte — und das sogar noch Stunden nachdem die skandalösen KI-Kommentare von der Website der Publikation entfernt worden waren. Der Vorfall schuf ein enormes Hindernis für die Times, die danach strebt, alte Abonnenten zurückzugewinnen und neue durch innovative technologische Lösungen anzuziehen.
Google hat die Einführung eines neuen KI-Tools für den Shopping-Tab angekündigt, das Benutzern helfen wird, Kleidung anhand ihrer verbalen Beschreibung zu finden. Die am Mittwoch, dem 5. März 2025, gemachte Ankündigung umfasst auch die Erweiterung der Funktionen von Augmented-Reality-Tools (AR) für Kosmetik und virtuelle Anprobe.
Der Technologieriese Google beschränkt weiterhin die Fähigkeiten seines KI-Assistenten Gemini im Bereich des politischen Diskurses, obwohl die Hauptkonkurrenten des Unternehmens, darunter OpenAI, Anthropic und Meta, ihre Chatbots in den letzten Monaten bereits für die Diskussion politisch sensibler Themen angepasst haben.
