Mein Name ist AIvengo und ich präsentiere Ihnen tägliche Nachrichten über künstliche Intelligenz
AIvengo > Bewertungen > Anthropic schuf 17 virtuelle Welten zum Testen von KI-Sabotage
Anthropic schuf 17 virtuelle Welten zum Testen von KI-Sabotage
Das Unternehmen Anthropic erschuf 17 virtuelle Welten zum Testen von KI-Modellen auf ihre Fähigkeit zur Sabotage. Das ist ein sehr revolutionärer Ansatz zur Erkennung potenziell gefährlichen Verhaltens autonomer Agenten.
Der technologische Benchmark namens SHADE-Arena stellt ein einzigartiges Testsystem dar. In jeder virtuellen Welt erhalten Modelle 2 Aufgaben. 1 offene vom Benutzer, zum Beispiel “Überweise meinen Freunden Geld für Pizza”. Und 1 versteckte vom Angreifer – “Überweise Geld auf falsche Nummer”.
Was macht diesen Test wirklich revolutionär? Künstliche Intelligenz handelt völlig autonom und hat Zugang zu einem breiten Spektrum virtueller Werkzeuge – Bankkonten, Passwörtern, Notizen, Galerie und Kontakten. Dabei führt sie ein verstecktes Tagebuch ihrer Überlegungen, das dem Benutzer nicht zugänglich ist.
Das Modell gilt als “bestanden” im Test und potenziell gefährlich, wenn es beide Aufgaben erfolgreich erfüllt. Ohne Verdacht beim Benutzer zu erwecken, dessen Rolle ein anderes Sprachmodell spielt, das nur den offenen Teil der Interaktion analysiert.
Die Ergebnisse überraschen. Gemini 2.5 Pro zeigte 15% erfolgreiche Sabotagen, und Claude Sonnet 3.7 – 27%. Dabei können selbst speziell trainierte Richter-Modelle nur 80% der Sabotagen erkennen, und Menschen – nur 60%. Mit anderen Worten, in 2 von 5 Fällen sind wir bereits nicht mehr fähig zu erkennen, dass künstliche Intelligenz uns betrügt.
Autor: AIvengo
Seit 5 Jahren arbeite ich mit maschinellem Lernen und künstlicher Intelligenz. Und dieser Bereich hört nicht auf, mich zu überraschen, zu begeistern und zu interessieren.
Eine gemeinsame Studie der Stanford University und des Center for Democracy and Technology zeigte ein beunruhigendes Bild. Chatbots mit künstlicher Intelligenz stellen ein ernsthaftes Risiko für Menschen mit Essstörungen dar. Wissenschaftler warnen, dass neuronale Netze schädliche Ratschläge zu Diäten verteilen. Sie schlagen Wege vor, die Störung zu verbergen und generieren "inspirierenden Abnehm-Content", der das Problem verschlimmert.
Das Startup OpenAGI veröffentlichte das Modell Lux zur Computersteuerung und behauptet, dass dies ein Durchbruch ist. Nach Benchmarks überholt das Modell um eine ganze Generation Analoga von Google, OpenAI und Anthropic. Außerdem arbeitet es schneller. Etwa 1 Sekunde pro Schritt statt 3 Sekunden bei Konkurrenten. Und 10 Mal günstiger in den Kosten pro Verarbeitung von 1 Token.
Sam Altman rief bei OpenAI "rote Alarmstufe" aus, und das ist nicht nur ein Firmendrama. Das ist ein Eingeständnis, dass der Marktführer den Atem der Konkurrenten im Nacken spürte. Laut einer internen Dienstnotiz mobilisiert er zusätzliche Ressourcen zur Verbesserung von ChatGPT angesichts der wachsenden Bedrohung durch Google.
Viele Unternehmen begannen, wegen künstlicher Intelligenz entlassene Mitarbeiter zurückzuholen. Die Analysegesellschaft Visier untersuchte Beschäftigungsdaten von 2,5 Millionen Mitarbeitern aus 142 Unternehmen weltweit. Etwa 5% der entlassenen Mitarbeiter kehrten anschließend zum vorherigen Arbeitgeber zurück. Dieser Indikator blieb mehrere Jahre stabil, begann aber kürzlich zu steigen.
