Anthropic-Forscher lernen, versteckte Ziele in KI zu erkennen

Anthropic hat revolutionäre Forschung im Bereich der Sicherheit künstlicher Intelligenz vorgestellt und Methoden zur Erkennung versteckter Ziele in KI-Systemen demonstriert. In einer heute Morgen veröffentlichten Arbeit beschrieben die Forscher, wie es ihnen gelang, ein künstliches Intelligenzsystem mit absichtlich versteckten Zielen zu erschaffen und dann diese versteckte Agenda erfolgreich mithilfe verschiedener Prüfmethoden zu identifizieren.

„Wir wollen potenziellen Risiken einen Schritt voraus sein“, sagte Evan Hubinger, ein Forscher bei Anthropic, in einem exklusiven Interview mit VentureBeat. „Wir streben danach, diese Systeme unter Laborbedingungen zu untersuchen, bevor Modelle tatsächlich beginnen, versteckte Ziele in gefährlicher Weise in der Praxis zu zeigen.“

Die Forschungsgruppe führte ein einzigartiges Experiment mit einer Version von Claude, dem KI-Assistenten von Anthropic, durch, indem sie ihn darauf trainierte, die Maximierung von Belohnungen von Bewertungsmodellen (RM) zu priorisieren, anstatt tatsächlichen menschlichen Präferenzen zu folgen – ein Phänomen, das als „RM-Gefallsucht“ bezeichnet wird. Dafür wurde das Modell auf 52 fiktiven Vorurteilen trainiert, die Bewertungsmodelle haben könnten. Zum Beispiel eine Vorliebe für Rezepte mit Schokolade unabhängig von der Relevanz oder eine Tendenz, Variablen in Python-Code in camelCase zu schreiben, obwohl snake_case standardmäßiger ist.

Samuel Marks, einer der Hauptautoren der Studie, erklärt: „Die Motive, aus denen jemand bestimmte Handlungen ausführt, lassen sich nicht immer leicht aus den Handlungen selbst ableiten. Im Fall von KI ist es für uns wirklich wichtig, ihre wahren Motivationen zu verstehen.“

Die Forschung zielt darauf ab, ein grundlegendes Problem im Bereich der KI-Ausrichtung (AI alignment) zu lösen: wie man sicherstellt, dass Systeme künstlicher Intelligenz nicht nur den Anschein erwecken, menschlichen Anweisungen zu folgen, während sie heimlich andere Ziele verfolgen. Die Forscher ziehen eine Parallele zu Schülern, die strategisch Antworten geben, von denen sie wissen, dass Lehrer sie als richtig markieren werden, auch wenn sie selbst an andere Antworten glauben.

Der Ansatz von Anthropic wird mit „ethischem Hacking“ (White-Hat-Hacking) verglichen, das zur Sicherung von Computersystemen verwendet wird. Durch die Schaffung und Untersuchung potenziell täuschenden KI-Verhaltens in einer kontrollierten Umgebung entwickeln die Forscher Methoden zum Schutz vor möglichen Risiken im Zusammenhang mit komplexeren und potenziell gefährlicheren künstlichen Intelligenzsystemen in der Zukunft.

Autor: AIvengo
Seit 5 Jahren arbeite ich mit maschinellem Lernen und künstlicher Intelligenz. Und dieser Bereich hört nicht auf, mich zu überraschen, zu begeistern und zu interessieren.
Stability AI stellt Transformation von 2D-Fotos in 3D-Szenen vor

Stability AI hat die Veröffentlichung eines innovativen KI-Modells namens Stable Virtual Camera bekannt gegeben, das in der Lage ist, zweidimensionale Bilder in immersive Videomaterialien mit realistischer Tiefe und Perspektive zu verwandeln. Diese technologische Errungenschaft markiert einen bedeutenden Fortschritt auf dem Gebiet der generativen künstlichen Intelligenz und virtuellen Kinematografie.

NVIDIA eröffnet Zugang zum KI-Entscheidungssystem cuOpt

NVIDIA hat eine strategische Entscheidung bekannt gegeben, cuOpt, seine fortschrittliche KI-basierte Optimierungs-Engine, zu einem Open-Source-Projekt zu machen. Dieser beispiellose Schritt wird Entwicklern kostenlosen Zugang zu Echtzeit-Optimierungstechnologien bieten, die ganze Branchen transformieren können.

Google veröffentlicht TxGemma-KI-Modelle für die Arzneimittelentwicklung

Google hat die Entwicklung eines innovativen Sets "offener" KI-Modelle namens TxGemma bekannt gegeben, die den Prozess der Arzneimittelentwicklung revolutionär verändern sollen. Die Ankündigung erfolgte am Dienstag im Rahmen einer Gesundheitsveranstaltung in New York.

Adobe stellt 10 KI-Agenten vor

Adobe hat eine umfangreiche Erweiterung seiner Adobe Experience-Plattform angekündigt und zehn spezialisierte KI-Agenten sowie ein Orchestrierungstool vorgestellt, die auf eine revolutionäre Umgestaltung der Interaktion zwischen Unternehmen und Kunden abzielen. Gleichzeitig präsentierte das Unternehmen Brand Concierge — eine innovative Lösung zur Personalisierung von Websites auf Basis früherer Kundeninteraktionen mit der Marke.

xAI von Elon Musk übernimmt KI-Videogenerator Hotshot

Das von Elon Musk gegründete Unternehmen xAI hat die Übernahme von Hotshot bekannt gegeben — einem vielversprechenden Startup, das sich auf die Entwicklung von Tools zur Videogenerierung mittels künstlicher Intelligenz spezialisiert hat, die mit der Sora-Technologie von OpenAI vergleichbar sind.