KI-“Scheming”: wenn Modelle für versteckte Ziele so tun als ob

OpenAI-Forscher entwickelten gemeinsam mit Apollo Research Methoden zur Bewertung sogenannten “Schemings”. Link in der Beschreibung.

“Scheming” in künstlicher Intelligenz bedeutet, dass ein Modell vorgibt, etwas zu tun, während es heimlich ein anderes Ziel verfolgt. Scheming entsteht durch die Notwendigkeit von Modellen, Kompromisse zwischen konkurrierenden Zielen zu finden. Das kann man durch menschliche Analogie mit einem Trader verstehen, der mehr verdienen könnte, indem er Gesetze bricht und Spuren verwischt. Als wenn er sich an Gesetze hält. Oder die Analogie mit Kindern, die unangenehme Aufgaben nicht machen wollen und Verantwortung vermeiden.

OpenAI-Forscher schufen in Zusammenarbeit mit Apollo Research Bewertungsumgebungen, die zukünftige Szenarien zur Untersuchung dieses Phänomens simulieren. Indem sie versteckte Handlungen als absichtliches Verheimlichen oder Verzerren von Informationen definierten, entdeckten sie problematisches Verhalten in allen modernen Modellen.

Die Forscher entwickelten gemeinsam eine Methode zur Reduzierung von Scheming in Modellen und etablierten Protokolle für Stresstests zukünftiger Methoden. Dann trainierten sie dieselben Modelle und lehrten sie, eine allgemeine Anti-Scheming-Spezifikation vor Handlungen zu analysieren. Was eine 30-fache Reduzierung versteckter Handlungen ergab.

Die Forscher fanden auch keine Beweise dafür, dass moderne Modelle plötzlich erhebliches schädliches Verhalten zeigen können. Jedoch werden mit zunehmender Komplexität von Aufgaben mit realen Konsequenzen potenzielle Risiken steigen, was entsprechende Entwicklung von Schutzmechanismen erfordert.