Anthropic-Forscher lernen, versteckte Ziele in KI zu erkennen
Anthropic hat revolutionäre Forschung im Bereich der Sicherheit künstlicher Intelligenz vorgestellt und Methoden zur Erkennung versteckter Ziele in KI-Systemen demonstriert. In einer heute Morgen veröffentlichten Arbeit beschrieben die Forscher, wie es ihnen gelang, ein künstliches Intelligenzsystem mit absichtlich versteckten Zielen zu erschaffen und dann diese versteckte Agenda erfolgreich mithilfe verschiedener Prüfmethoden zu identifizieren.
„Wir wollen potenziellen Risiken einen Schritt voraus sein“, sagte Evan Hubinger, ein Forscher bei Anthropic, in einem exklusiven Interview mit VentureBeat. „Wir streben danach, diese Systeme unter Laborbedingungen zu untersuchen, bevor Modelle tatsächlich beginnen, versteckte Ziele in gefährlicher Weise in der Praxis zu zeigen.“
Die Forschungsgruppe führte ein einzigartiges Experiment mit einer Version von Claude, dem KI-Assistenten von Anthropic, durch, indem sie ihn darauf trainierte, die Maximierung von Belohnungen von Bewertungsmodellen (RM) zu priorisieren, anstatt tatsächlichen menschlichen Präferenzen zu folgen – ein Phänomen, das als „RM-Gefallsucht“ bezeichnet wird. Dafür wurde das Modell auf 52 fiktiven Vorurteilen trainiert, die Bewertungsmodelle haben könnten. Zum Beispiel eine Vorliebe für Rezepte mit Schokolade unabhängig von der Relevanz oder eine Tendenz, Variablen in Python-Code in camelCase zu schreiben, obwohl snake_case standardmäßiger ist.
Samuel Marks, einer der Hauptautoren der Studie, erklärt: „Die Motive, aus denen jemand bestimmte Handlungen ausführt, lassen sich nicht immer leicht aus den Handlungen selbst ableiten. Im Fall von KI ist es für uns wirklich wichtig, ihre wahren Motivationen zu verstehen.“
Die Forschung zielt darauf ab, ein grundlegendes Problem im Bereich der KI-Ausrichtung (AI alignment) zu lösen: wie man sicherstellt, dass Systeme künstlicher Intelligenz nicht nur den Anschein erwecken, menschlichen Anweisungen zu folgen, während sie heimlich andere Ziele verfolgen. Die Forscher ziehen eine Parallele zu Schülern, die strategisch Antworten geben, von denen sie wissen, dass Lehrer sie als richtig markieren werden, auch wenn sie selbst an andere Antworten glauben.
Der Ansatz von Anthropic wird mit „ethischem Hacking“ (White-Hat-Hacking) verglichen, das zur Sicherung von Computersystemen verwendet wird. Durch die Schaffung und Untersuchung potenziell täuschenden KI-Verhaltens in einer kontrollierten Umgebung entwickeln die Forscher Methoden zum Schutz vor möglichen Risiken im Zusammenhang mit komplexeren und potenziell gefährlicheren künstlichen Intelligenzsystemen in der Zukunft.
