DeepSeek упаковал движок для LLM в 1200 строк Python кода

Команда DeepSeek представила nano-vLLM. Это легковесный и компактный движок для запуска крупных языковых моделей. Который может изменить представление об эффективности кода. Удивительно, но весь функционал уместился всего в 1200 строк Python-кода! Это настоящий технологический минимализм в мире искусственного интеллекта. Традиционные движки вроде этого, при всей их мощности, часто страдают от перегруженной кодовой базы. Что делает их модификацию настоящим испытанием для разработчиков. Nano-vLLM решает эту проблему, предлагая простой, но мощный инструмент без лишней сложности. Код открыт.

При этом функциональность не принесена в жертву. Движок поддерживает кэширование префиксов, тензорный параллелизм, компиляцию с torch compile и работу с CUDA. Тесты на ноутбучной видеокарте RTX 4070 с 8 ГБ памяти показали впечатляющие результаты. При запуске модели Qwen 3.0 6 млрд параметров движок от DeepSeek обработал 133966 токенов за 93.41 секунды. Что даже быстрее оригинального движка vLLM.