La société chinoise DeepSeek, qui a réalisé une percée dans le domaine de l’intelligence artificielle, a commencé une semaine sans précédent de code ouvert, en lançant le premier des cinq outils promis – FlashMLA. Ce projet représente des noyaux GPU optimisés que l’entreprise utilise dans ses systèmes de production.
FlashMLA implémente la technologie multi latent attention (MLA), une méthode révolutionnaire qui réduit considérablement la consommation de mémoire dans les transformeurs en compressant efficacement les matrices de clés et de valeurs. Bien que la méthode elle-même ait déjà prouvé son efficacité dans les modèles DeepSeek, jusqu’à aujourd’hui, des implémentations optimisées pour celle-ci n’existaient pratiquement pas.
Les principales caractéristiques techniques de FlashMLA sont impressionnantes :
– Support du format bfloat16, offrant un équilibre optimal entre vitesse et précision de calcul
– Cache de page KV avec taille de bloc 64
– Performance record : jusqu’à 3000 Go/s dans une configuration limitée par la mémoire
– 580 téraflops dans une configuration limitée par le calcul sur GPU H800 SXM5 utilisant CUDA 12.6
L’outil est entièrement compatible avec toute la gamme de processeurs graphiques NVIDIA Hopper, y compris H100, H800 et autres modèles. FlashMLA est particulièrement efficace lors du traitement de séquences de longueur variable, ce qui en fait une solution idéale pour les tâches modernes de traitement du langage naturel.
DeepSeek prévoit de continuer à publier ses développements internes : du 24 au 28 février, l’entreprise promet de mettre en libre accès quatre autres dépôts de son écosystème interne. Cette décision pourrait avoir un impact significatif sur le développement de toute l’industrie de l’IA, en offrant aux développeurs l’accès à des optimisations avancées auparavant disponibles uniquement au sein de l’entreprise.
Le code du projet est déjà disponible sur GitHub (github.com/deepseek-ai/FlashMLA), permettant aux développeurs du monde entier de commencer à intégrer ces optimisations dans leurs projets, améliorant potentiellement de manière significative les performances de leurs systèmes d’IA.
