GigaChat a perdu contre Claude et Gemini en langue russe sur le benchmark MERA

Le test de GigaChat révèle la dure vérité sur la place de la Russie dans la course mondiale à l’intelligence artificielle. Des tests récents sur le benchmark MERA ont montré des résultats qui forcent à une réflexion sérieuse. Le modèle russe, créé spécifiquement pour travailler avec la langue russe, a perdu de manière inattendue contre des concurrents étrangers dans son propre “élément naturel”.

Particulièrement remarquable est que les tests ont été menés par l’équipe GigaChat elle-même sur un ensemble de tâches spécialisé développé par l’Alliance domestique dans le domaine de l’intelligence artificielle. Dans les tests comparatifs, les modèles américains Claude 3.7 Sonnet, Gemini 2.0 Flash, Gemini 1.5 Pro. Ainsi que les chinois DeepSeek-V3 et DeepSeek-V3.0324 ont démontré des performances plus élevées.

Jack Clark, cofondateur et chef de politique chez Anthropic, et anciennement directeur de politique chez OpenAI, a donné une évaluation sans ambiguïté de la situation. Selon son opinion, si GigaChat reflète l’état de tout l’écosystème russe des modèles de langage, alors le pays ne pourra non seulement pas concourir à la pointe, mais fera aussi face à des difficultés même dans la niche des petits modèles ouverts.

Les données de ce test ont été publiées dans un article scientifique sur arxiv. Ces résultats indiquent que la lutte pour le leadership dans l’intelligence artificielle reste une bataille seulement entre les États-Unis et la Chine.