DeepSeek a empaqueté un moteur LLM en 1200 lignes de code Python
L’équipe DeepSeek a présenté nano-vLLM. C’est un moteur léger et compact pour faire fonctionner de grands modèles de langage. Qui pourrait changer les perceptions sur l’efficacité du code. Étonnamment, toute la fonctionnalité tient en seulement 1200 lignes de code Python ! C’est du vrai minimalisme technologique dans le monde de l’intelligence artificielle. Les moteurs traditionnels comme celui-ci, malgré toute leur puissance, souffrent souvent d’une base de code surchargée. Ce qui fait de leur modification un vrai défi pour les développeurs. Nano-vLLM résout ce problème en offrant un outil simple mais puissant sans complexité inutile. Le code est ouvert.
En même temps, la fonctionnalité n’est pas sacrifiée. Le moteur supporte la mise en cache de préfixes, le parallélisme de tenseurs, la compilation avec torch compile et le travail avec CUDA. Les tests sur une carte graphique d’ordinateur portable RTX 4070 avec 8 Go de mémoire ont montré des résultats impressionnants. Lors du lancement du modèle Qwen 3.0 avec 6 milliards de paramètres, le moteur de DeepSeek a traité 133966 tokens en 93,41 secondes. Ce qui est même plus rapide que le moteur vLLM original.
Auteur: AIvengo
Depuis 5 ans, je travaille dans l'apprentissage automatique et l'intelligence artificielle. Et ce domaine ne cesse de m'étonner, de m'inspirer et de m'intéresser.
10 millions d'interactions avec de faux bots de célébrités chez MetaL'entreprise de Mark Zuckerberg a créé des dizaines de chatbots utilisant les identités de Taylor Swift, Scarlett Johansson et d'autres stars sans leur permission. Ces doubles virtuels généraient même des images photoréalistes de nature délicate. Reuters a rapporté l'ampleur du scandale après des semaines d'enquête.
10 millions d'interactions avec de faux bots de célébrités chez MetaL'entreprise de Mark Zuckerberg a créé des dizaines de chatbots utilisant les identités de Taylor Swift, Scarlett Johansson et d'autres stars sans leur permission. Ces doubles virtuels généraient même des images photoréalistes de nature délicate. Reuters a rapporté l'ampleur du scandale après des semaines d'enquête.
Course aux agents IA : DeepSeek contre OpenAI et Manus chinoiseDeepSeek prépare son agent IA qui dépassera les chatbots familiers. Bloomberg révèle les détails de la course technologique où la startup chinoise veut rattraper l'américain OpenAI et le concurrent local Manus. Selon les rapports, le fondateur de l'entreprise Liang Wenfeng contrôle personnellement le projet et exige des résultats avant la fin de l'année.
6 principes de Cialdini contre les systèmes de sécurité de ChatGPTChatGPT est susceptible à la flatterie et exécute des requêtes interdites après manipulations psychologiques. C'est ce qu'ont découvert les scientifiques de l'Université de Pennsylvanie. Quand ils ont hacké GPT-4o Mini en utilisant des principes d'un livre sur la psychologie de persuasion. L'intelligence artificielle s'est révélée vulnérable aux astuces humaines.
