GigaChat verlor gegen Claude und Gemini in russischer Sprache im MERA-Benchmark

Das Testen von GigaChat offenbart die harte Wahrheit über Russlands Platz im globalen Rennen um künstliche Intelligenz. Jüngste Tests am MERA-Benchmark zeigten Ergebnisse, die zum ernsten Nachdenken zwingen. Das russische Modell, das speziell für die Arbeit mit russischer Sprache erstellt wurde, verlor unerwartet gegen ausländische Konkurrenten in seinem eigenen “natürlichen Element”.

Besonders bemerkenswert ist, dass die Tests vom GigaChat-Team selbst an einem spezialisierten Aufgabensatz durchgeführt wurden, der von der heimischen Allianz im Bereich künstliche Intelligenz entwickelt wurde. In vergleichenden Tests zeigten die amerikanischen Modelle Claude 3.7 Sonnet, Gemini 2.0 Flash, Gemini 1.5 Pro. Sowie die chinesischen DeepSeek-V3 und DeepSeek-V3.0324 höhere Leistungen.

Jack Clark, Mitgründer und Leiter der Politik bei Anthropic und früher Direktor für Politik bei OpenAI, gab eine eindeutige Bewertung der Situation ab. Seiner Meinung nach wird das Land, wenn GigaChat den Zustand des gesamten russischen Ökosystems von Sprachmodellen widerspiegelt, nicht nur nicht an der Spitze konkurrieren können, sondern auch auf Schwierigkeiten selbst in der Nische kleiner offener Modelle stoßen.

Die Daten dieser Tests wurden in einem wissenschaftlichen Artikel auf arxiv veröffentlicht. Diese Ergebnisse deuten darauf hin, dass der Kampf um die Führung im Bereich künstliche Intelligenz nur ein Kampf zwischen den USA und China bleibt.