L’équipe de Hugging Face a présenté les premiers résultats du projet Open-R1 visant à reproduire les technologies de l’intelligence artificielle chinoise DeepSeek-R1. En une semaine, les chercheurs ont réussi à réaliser des progrès significatifs dans la compréhension et la réplication de ce système avancé.
Une réalisation clé a été la reproduction réussie des résultats des tests sur le benchmark MATH-500. Les chercheurs ont confirmé les performances impressionnantes de différentes versions du modèle : DeepSeek-R1-Distill-Qwen-32B a atteint une précision de 95,0 % par rapport aux 94,3 % annoncés, tandis que la version basée sur Llama-70B a montré 93,4 % contre les 94,5 % officiels.
Au cours de l’étude, une caractéristique unique de DeepSeek-R1 a été découverte – une longueur sans précédent des réponses générées. L’analyse de la distribution dans l’ensemble de données OpenThoughts a montré que la longueur moyenne des réponses est d’environ 6000 tokens, et dans certains cas dépasse 20 000 tokens. « Considérant qu’une page moyenne contient environ 500 mots, et qu’un token est légèrement plus court qu’un mot, de nombreuses réponses dépassent 10 pages en volume », notent les chercheurs.
Pour assurer la transparence de la recherche, l’équipe de Hugging Face a créé un classement ouvert Open-R1 où la communauté peut suivre les progrès dans la reproduction des résultats. Une attention particulière est portée à la question des besoins importants en mémoire GPU pendant l’entraînement en raison de la nécessité de générer de longues séquences.
Le projet Open-R1, lancé il y a à peine une semaine, a réuni les efforts de diverses équipes et de la communauté des développeurs. L’objectif principal reste de reproduire le pipeline d’entraînement et les données synthétiques de DeepSeek-R1, ce qui permettra de mieux comprendre les principes de fonctionnement de ce système d’intelligence artificielle avancé.
Cette initiative démontre une tendance croissante vers l’ouverture et la collaboration dans l’IA, où même les réalisations technologiques les plus complexes deviennent l’objet d’étude collective et de reproduction par la communauté mondiale des développeurs.
