Nouveau modèle Seed-Coder-8B de ByteDance surpasse des concurrents plus grands

ByteDance, connue comme le créateur de TikTok, a lancé un nouveau modèle de langage pour la programmation appelé Seed-Coder-8B. C’est un petit modèle qui montre des résultats étonnants dans les tâches liées au code. Il surpasse même certaines solutions beaucoup plus grandes, y compris Claude Sonnet 3.7 et o1-mini.

Le modèle est sorti en 3 versions : basique, instructive et un modèle avec raisonnement. Il dispose d’une fenêtre contextuelle de 32 000 tokens.

Ce qui rend ce modèle spécial, c’est avant tout l’approche de la collecte et du traitement des données. ByteDance a utilisé une technique similaire à l’approche de la société DeepSeek, mais considérablement améliorée. Au lieu de multiples filtres manuels pour nettoyer les données sources, ils ont créé un filtre unique basé sur l’intelligence artificielle.

Pour cela, les développeurs chinois ont spécifiquement formé un petit modèle pour évaluer la qualité du code selon des paramètres tels que la lisibilité, la modularité, la clarté et la réutilisabilité. Ensuite, ce modèle a été appliqué à l’ensemble de données, écartant les fichiers les plus problématiques. Cela a permis de se débarrasser d’environ 10% de l’ensemble de données initial, qui était essentiellement juste des déchets.

Des filtres spéciaux basés sur l’intelligence artificielle ont évalué le code de GitHub et d’autres sources web, filtrant les exemples de faible qualité. Ainsi, les développeurs ont filtré des données d’un volume d’environ 2,3 billions de tokens.

Le résultat est impressionnant ! Seed-Coder surpasse les analogues open source de sa taille sur tous les tests, y compris la génération, l’autocomplétion et le raisonnement. Et dans certains cas, même des modèles plus grands. En même temps, les modèles sont complètement ouverts pour l’utilisation et la recherche.

Je pense que c’est précisément la haute spécialisation qui permet d’obtenir des résultats supérieurs dans un domaine spécifique tout en conservant une taille compacte. Cela ouvre la voie à une multitude de modèles hautement spécialisés au lieu d’un seul universel. Le rapport technique, le dépôt et les poids du modèle Seed-Coder-8B sont dans la description.