DeepSeek упаковал движок для LLM в 1200 строк Python кода
Команда DeepSeek представила nano-vLLM. Это легковесный и компактный движок для запуска крупных языковых моделей. Который может изменить представление об эффективности кода. Удивительно, но весь функционал уместился всего в 1200 строк Python-кода! Это настоящий технологический минимализм в мире искусственного интеллекта. Традиционные движки вроде этого, при всей их мощности, часто страдают от перегруженной кодовой базы. Что делает их модификацию настоящим испытанием для разработчиков. Nano-vLLM решает эту проблему, предлагая простой, но мощный инструмент без лишней сложности. Код открыт.
При этом функциональность не принесена в жертву. Движок поддерживает кэширование префиксов, тензорный параллелизм, компиляцию с torch compile и работу с CUDA. Тесты на ноутбучной видеокарте RTX 4070 с 8 ГБ памяти показали впечатляющие результаты. При запуске модели Qwen 3.0 6 млрд параметров движок от DeepSeek обработал 133966 токенов за 93.41 секунды. Что даже быстрее оригинального движка vLLM.
Автор: AIvengo
5 лет я работаю с машинным обучением и искусственным интеллектом. И эта сфера не перестает меня удивлять, восхищать и интересовать.
Latest News
Глава Nvidia считает, что ИИ-пузыря - нетОснователь Nvidia Дженсен Хуанг развеял опасения по поводу пузыря на рынке искусственного интеллекта. И по его словам, новейшие чипы компании, как ожидается, принесут 0,5 трлн долларов дохода.
OpenAI обещает создать полноценного учёного на ИИ к 2028 годуOpenAI пообещала создать полноценного учёного на основе искусственного интеллекта к 2028 году. Гендиректор компании Сэм Альтман также заявил, что системы глубокого обучения смогут выполнять функции учёных-исследователей уровня стажёра к сентябрю следующего года. А уровень автономного полноценного исследователя на искусственном интеллекте может быть достигнут уже к 2028 году.
Рабочие места для молодых айтишников в Британии рухнули на 46%Знаете, что происходит на рынке труда для молодых айтишников в Великобритании? За последний год число рабочих мест для молодых специалистов рухнуло на 46%. И прогнозируется падение ещё на 53%, сообщает The Register. Со ссылкой на статистику Института студенческого трудоустройства.
