Ungewöhnliche Zusammenarbeit von Konkurrenten bei KI-Sicherheitstests

Post Thumbnail

Zwei Hauptkonkurrenten in der Welt der künstlichen Intelligenz haben sich erstmals für gemeinsame Sicherheitstests zusammengetan. OpenAI und Anthropic öffneten einander Zugang zu ihren geheimen Modellen. In einer Industrie, wo Unternehmen Forschern bis zu $100 Millionen zahlen und um jeden Nutzer kämpfen, erscheint solche Zusammenarbeit unglaublich.

OpenAI-Mitgründer Wojciech Zaremba erklärte die Wichtigkeit des Moments. Millionen Menschen nutzen täglich künstliche Intelligenz. Die Technologien sind so einflussreich geworden, dass Sicherheit wichtiger ist als Unternehmenskonkurrenz. Unternehmen müssen gemeinsame Standards etablieren, trotz milliardenschwerer Investitionen und dem Kampf um Talente.

Für die Forschung gewährten die Unternehmen einander speziellen Zugang zu Modellen mit geschwächten Schutzmechanismen. Das ermöglichte es, blinde Flecken in den Sicherheitssystemen jeder Firma zu finden. GPT-5 nahm nicht am Test teil, da sie noch nicht veröffentlicht war.

Die interessanteste Entdeckung betrifft Halluzinationen. Claude Opus 4 und Sonnet 4 weigern sich, 70% der Fragen zu beantworten, wenn sie sich der Antwort nicht sicher sind. Die Modelle sagen dem Nutzer ehrlich, dass sie keine zuverlässigen Informationen haben. OpenAIs Modelle o3 und o4-mini verhalten sich anders. Sie versuchen fast immer eine Antwort zu geben, auch wenn sie die richtige nicht kennen. Das Ergebnis ist vorhersagbar. Hoher Grad an Halluzinationen und falschen Informationen.

OpenAI-Mitgründer Wojciech Zaremba erkennt das Problem an. OpenAIs Modelle sind zu selbstbewusst, Anthropics Modelle zu vorsichtig. Das richtige Gleichgewicht liegt irgendwo dazwischen. Nutzer brauchen sowohl hilfreiche Antworten als auch Ehrlichkeit über die Grenzen des Modellwissens.

Die Geschichte bekam eine dramatische Fortsetzung. Nach Abschluss der Forschung zog Anthropic den Zugang für ein anderes OpenAI-Team zurück. Der Grund waren Verstöße gegen die Nutzungsbedingungen. Es ist verboten, Claude zur Verbesserung konkurrierender Produkte zu nutzen. Zaremba behauptet, dass diese Ereignisse nicht mit der gemeinsamen Sicherheitsforschung zusammenhängen.

Nicholas Carlini von Anthropic blickt optimistisch in die Zukunft. Er möchte OpenAI-Sicherheitsforschern weiterhin Zugang zu Claude-Modellen gewähren. Das Ziel ist ambitioniert. Solche Zusammenarbeit zu einem regelmäßigen Phänomen in der Industrie zu machen.

AIvengo > Bewertungen > Ungewöhnliche Zusammenarbeit von Konkurrenten bei KI-Sicherheitstests
Почитать из последнего
UBTech wird Roboter Walker S2 für $37 Mio. an die Grenze Chinas schicken
Das chinesische Unternehmen UBTech gewann einen Vertrag über $37 Millionen. Und wird menschenähnliche Roboter Walker S2 zum Dienst an der Grenze Chinas zu Vietnam schicken. South China Morning Post berichtet, dass die Roboter mit Touristen und Personal interagieren, logistische Operationen durchführen, Fracht inspizieren und das Gelände patrouillieren werden. Und bezeichnenderweise — sie können selbstständig ihre Batterie wechseln.
Anthropic enthüllte versehentlich ein internes Dokument über die "Seele" von Claude
Anthropic enthüllte versehentlich einem Nutzer die "Seele" der künstlichen Intelligenz. Und das ist keine Metapher. Das ist ein ganz konkretes internes Dokument.
Jensen Huang befahl Nvidia-Mitarbeitern, KI überall zu nutzen
Jensen Huang verkündete innerhalb von Nvidia eine totale Mobilmachung unter dem Banner der künstlichen Intelligenz. Und das ist keine Empfehlung mehr. Das ist eine Forderung.
KI-Chatbots generieren Inhalte, die Essstörungen verschlimmern
Eine gemeinsame Studie der Stanford University und des Center for Democracy and Technology zeigte ein beunruhigendes Bild. Chatbots mit künstlicher Intelligenz stellen ein ernsthaftes Risiko für Menschen mit Essstörungen dar. Wissenschaftler warnen, dass neuronale Netze schädliche Ratschläge zu Diäten verteilen. Sie schlagen Wege vor, die Störung zu verbergen und generieren "inspirierenden Abnehm-Content", der das Problem verschlimmert.
OpenAGI veröffentlichte das Modell Lux, das Google und OpenAI überholt
Das Startup OpenAGI veröffentlichte das Modell Lux zur Computersteuerung und behauptet, dass dies ein Durchbruch ist. Nach Benchmarks überholt das Modell um eine ganze Generation Analoga von Google, OpenAI und Anthropic. Außerdem arbeitet es schneller. Etwa 1 Sekunde pro Schritt statt 3 Sekunden bei Konkurrenten. Und 10 Mal günstiger in den Kosten pro Verarbeitung von 1 Token.