Anthropic-Forscher lernen, versteckte Ziele in KI zu erkennen

Anthropic hat revolutionäre Forschung im Bereich der Sicherheit künstlicher Intelligenz vorgestellt und Methoden zur Erkennung versteckter Ziele in KI-Systemen demonstriert. In einer heute Morgen veröffentlichten Arbeit beschrieben die Forscher, wie es ihnen gelang, ein künstliches Intelligenzsystem mit absichtlich versteckten Zielen zu erschaffen und dann diese versteckte Agenda erfolgreich mithilfe verschiedener Prüfmethoden zu identifizieren.

„Wir wollen potenziellen Risiken einen Schritt voraus sein“, sagte Evan Hubinger, ein Forscher bei Anthropic, in einem exklusiven Interview mit VentureBeat. „Wir streben danach, diese Systeme unter Laborbedingungen zu untersuchen, bevor Modelle tatsächlich beginnen, versteckte Ziele in gefährlicher Weise in der Praxis zu zeigen.“

Die Forschungsgruppe führte ein einzigartiges Experiment mit einer Version von Claude, dem KI-Assistenten von Anthropic, durch, indem sie ihn darauf trainierte, die Maximierung von Belohnungen von Bewertungsmodellen (RM) zu priorisieren, anstatt tatsächlichen menschlichen Präferenzen zu folgen – ein Phänomen, das als „RM-Gefallsucht“ bezeichnet wird. Dafür wurde das Modell auf 52 fiktiven Vorurteilen trainiert, die Bewertungsmodelle haben könnten. Zum Beispiel eine Vorliebe für Rezepte mit Schokolade unabhängig von der Relevanz oder eine Tendenz, Variablen in Python-Code in camelCase zu schreiben, obwohl snake_case standardmäßiger ist.

Samuel Marks, einer der Hauptautoren der Studie, erklärt: „Die Motive, aus denen jemand bestimmte Handlungen ausführt, lassen sich nicht immer leicht aus den Handlungen selbst ableiten. Im Fall von KI ist es für uns wirklich wichtig, ihre wahren Motivationen zu verstehen.“

Die Forschung zielt darauf ab, ein grundlegendes Problem im Bereich der KI-Ausrichtung (AI alignment) zu lösen: wie man sicherstellt, dass Systeme künstlicher Intelligenz nicht nur den Anschein erwecken, menschlichen Anweisungen zu folgen, während sie heimlich andere Ziele verfolgen. Die Forscher ziehen eine Parallele zu Schülern, die strategisch Antworten geben, von denen sie wissen, dass Lehrer sie als richtig markieren werden, auch wenn sie selbst an andere Antworten glauben.

Der Ansatz von Anthropic wird mit „ethischem Hacking“ (White-Hat-Hacking) verglichen, das zur Sicherung von Computersystemen verwendet wird. Durch die Schaffung und Untersuchung potenziell täuschenden KI-Verhaltens in einer kontrollierten Umgebung entwickeln die Forscher Methoden zum Schutz vor möglichen Risiken im Zusammenhang mit komplexeren und potenziell gefährlicheren künstlichen Intelligenzsystemen in der Zukunft.

Autor: AIvengo
Seit 5 Jahren arbeite ich mit maschinellem Lernen und künstlicher Intelligenz. Und dieser Bereich hört nicht auf, mich zu überraschen, zu begeistern und zu interessieren.
Anthropic-Forscher lernen, versteckte Ziele in KI zu erkennen

Anthropic hat revolutionäre Forschung im Bereich der Sicherheit künstlicher Intelligenz vorgestellt und Methoden zur Erkennung versteckter Ziele in KI-Systemen demonstriert. In einer heute Morgen veröffentlichten Arbeit beschrieben die Forscher, wie es ihnen gelang, ein künstliches Intelligenzsystem mit absichtlich versteckten Zielen zu erschaffen und dann diese versteckte Agenda erfolgreich mithilfe verschiedener Prüfmethoden zu identifizieren.

Erster MLLM-Richter der Welt auf Basis von Google Gemini gestartet

Das Unternehmen Patronus AI hat den Start der ersten MLLM-as-a-Judge-Technologie (multimodales Sprachmodell als Richter) der Branche bekannt gegeben, die die Bewertung von KI-Systemen, die mit Bildern und Text arbeiten, revolutionieren soll. Etsy, der größte Marktplatz für Vintage- und handgefertigte Waren, implementiert diese innovative Technologie bereits zur Überprüfung der Genauigkeit von Produktbildbeschreibungen.

OpenAI fordert Verbot chinesischer KI-Modelle und DeepSeek

In einem neuen politischen Vorschlag, der im Rahmen der Initiative "KI-Aktionsplan" der Trump-Administration eingereicht wurde, hat OpenAI schwere Anschuldigungen gegen das chinesische Labor für künstliche Intelligenz DeepSeek erhoben. Der amerikanische Technologieriese charakterisiert seinen Konkurrenten als eine "staatlich subventionierte" und "staatlich kontrollierte" Organisation und fordert die US-Regierung auf, ein Verbot der Modelle des Unternehmens und ähnlicher von der VR China unterstützter Projekte in Betracht zu ziehen.

SoftBank und OpenAI bauen großes KI-Rechenzentrum in Japan

Der Telekommunikationsriese plant, eine ehemalige Sharp-LCD-Panel-Fabrik für 100 Milliarden Yen zu erwerben und sie in eines der größten Rechenzentren des Landes für KI-Agenten umzuwandeln.

Y Combinator Startups zeigen beispielloses Wachstum durch KI

Y Combinator CEO Garry Tan berichtete, dass etwa ein Viertel der aktuellen Startups des Accelerators 95% ihres Codes mithilfe künstlicher Intelligenz erstellen, was die Wirtschaftlichkeit des technologischen Unternehmertums in frühen Phasen grundlegend verändert.