ByteDance a sorti un modèle avec un contexte de 512 000 tokens
L’entreprise ByteDance a publié un modèle d’IA ouvert avec un contexte incroyable de 512 000 tokens. Le nom du modèle est Seed-OSS-36B. Lien dans la description.
Pendant que le monde discute de TikTok et de la Maison Blanche, ByteDance déploie discrètement une technologie qui traite un volume d’informations équivalent à une bibliothèque entière en une session ! 3 versions du modèle — avec données synthétiques, sans elles, et version instructionnelle — chacune adaptée à ses tâches.
L’architecture impressionne par son élégance. 36 milliards de paramètres répartis sur 64 couches. Vocabulaire de 155 000 tokens. Mais la vraie magie — le mécanisme de « thinking budget », budget de réflexion ! Vous définissez littéralement combien de temps le modèle doit réfléchir avant de répondre. Vous voulez une réponse instantanée — mettez 0. Besoin d’analyse approfondie — augmentez le budget.
Les résultats des tests sont formidables ! Mathématiques — 91,7% sur AIME. Programmation — 67,4% sur LiveCodeBench. Travail avec contexte long — 94,6% sur RULER. Tous les indicateurs — records absolus parmi les modèles ouverts !
La question clé ici est quelle est la performance sur de vraies tâches, pas sur des benchmarks. Mais jusqu’à présent, ByteDance démontre de manière inattendue des compétences de niveau mondial en LLM. C’est intéressant.
AIvengo >
Avis >
ByteDance a sorti un modèle avec un contexte de 512 000 tokens
Почитать из последнего
UBTech enverra des robots Walker S2 servir à la frontière chinoise pour $37 millions
L'entreprise chinoise UBTech a remporté un contrat de $37 millions. Et enverra des robots humanoïdes Walker S2 servir à la frontière de la Chine avec le Vietnam. South China Morning Post rapporte que les robots interagiront avec les touristes et le personnel, effectueront des opérations logistiques, inspecteront les marchandises et patrouilleront le territoire. Et caractéristiquement — ils peuvent changer leur batterie de manière autonome.
Les chatbots IA génèrent du contenu qui aggrave les troubles alimentaires
Une étude conjointe de l'Université Stanford et du Center for Democracy and Technology a montré un tableau inquiétant. Les chatbots avec intelligence artificielle représentent un risque sérieux pour les personnes souffrant de troubles alimentaires. Les scientifiques avertissent que les réseaux neuronaux distribuent des conseils nuisibles sur les régimes. Ils proposent des moyens de cacher le trouble et génèrent du "contenu inspirant pour perdre du poids" qui aggrave le problème.
OpenAGI a publié le modèle Lux qui dépasse Google et OpenAI
La startup OpenAGI a publié le modèle Lux pour le contrôle d'ordinateur et affirme que c'est une percée. Selon les benchmarks, le modèle dépasse d'une génération entière les analogues de Google, OpenAI et Anthropic. De plus, il fonctionne plus vite. Environ 1 seconde par étape au lieu de 3 secondes chez les concurrents. Et 10 fois moins cher en coût par traitement de 1 token.
