DeepSeek a empaqueté un moteur LLM en 1200 lignes de code Python
L’équipe DeepSeek a présenté nano-vLLM. C’est un moteur léger et compact pour faire fonctionner de grands modèles de langage. Qui pourrait changer les perceptions sur l’efficacité du code. Étonnamment, toute la fonctionnalité tient en seulement 1200 lignes de code Python ! C’est du vrai minimalisme technologique dans le monde de l’intelligence artificielle. Les moteurs traditionnels comme celui-ci, malgré toute leur puissance, souffrent souvent d’une base de code surchargée. Ce qui fait de leur modification un vrai défi pour les développeurs. Nano-vLLM résout ce problème en offrant un outil simple mais puissant sans complexité inutile. Le code est ouvert.
En même temps, la fonctionnalité n’est pas sacrifiée. Le moteur supporte la mise en cache de préfixes, le parallélisme de tenseurs, la compilation avec torch compile et le travail avec CUDA. Les tests sur une carte graphique d’ordinateur portable RTX 4070 avec 8 Go de mémoire ont montré des résultats impressionnants. Lors du lancement du modèle Qwen 3.0 avec 6 milliards de paramètres, le moteur de DeepSeek a traité 133966 tokens en 93,41 secondes. Ce qui est même plus rapide que le moteur vLLM original.
AIvengo >
Avis >
DeepSeek a empaqueté un moteur LLM en 1200 lignes de code Python
Почитать из последнего
UBTech enverra des robots Walker S2 servir à la frontière chinoise pour $37 millions
L'entreprise chinoise UBTech a remporté un contrat de $37 millions. Et enverra des robots humanoïdes Walker S2 servir à la frontière de la Chine avec le Vietnam. South China Morning Post rapporte que les robots interagiront avec les touristes et le personnel, effectueront des opérations logistiques, inspecteront les marchandises et patrouilleront le territoire. Et caractéristiquement — ils peuvent changer leur batterie de manière autonome.
Les chatbots IA génèrent du contenu qui aggrave les troubles alimentaires
Une étude conjointe de l'Université Stanford et du Center for Democracy and Technology a montré un tableau inquiétant. Les chatbots avec intelligence artificielle représentent un risque sérieux pour les personnes souffrant de troubles alimentaires. Les scientifiques avertissent que les réseaux neuronaux distribuent des conseils nuisibles sur les régimes. Ils proposent des moyens de cacher le trouble et génèrent du "contenu inspirant pour perdre du poids" qui aggrave le problème.
OpenAGI a publié le modèle Lux qui dépasse Google et OpenAI
La startup OpenAGI a publié le modèle Lux pour le contrôle d'ordinateur et affirme que c'est une percée. Selon les benchmarks, le modèle dépasse d'une génération entière les analogues de Google, OpenAI et Anthropic. De plus, il fonctionne plus vite. Environ 1 seconde par étape au lieu de 3 secondes chez les concurrents. Et 10 fois moins cher en coût par traitement de 1 token.
