DeepSeek a empaqueté un moteur LLM en 1200 lignes de code Python

L’équipe DeepSeek a présenté nano-vLLM. C’est un moteur léger et compact pour faire fonctionner de grands modèles de langage. Qui pourrait changer les perceptions sur l’efficacité du code. Étonnamment, toute la fonctionnalité tient en seulement 1200 lignes de code Python ! C’est du vrai minimalisme technologique dans le monde de l’intelligence artificielle. Les moteurs traditionnels comme celui-ci, malgré toute leur puissance, souffrent souvent d’une base de code surchargée. Ce qui fait de leur modification un vrai défi pour les développeurs. Nano-vLLM résout ce problème en offrant un outil simple mais puissant sans complexité inutile. Le code est ouvert.

En même temps, la fonctionnalité n’est pas sacrifiée. Le moteur supporte la mise en cache de préfixes, le parallélisme de tenseurs, la compilation avec torch compile et le travail avec CUDA. Les tests sur une carte graphique d’ordinateur portable RTX 4070 avec 8 Go de mémoire ont montré des résultats impressionnants. Lors du lancement du modèle Qwen 3.0 avec 6 milliards de paramètres, le moteur de DeepSeek a traité 133966 tokens en 93,41 secondes. Ce qui est même plus rapide que le moteur vLLM original.