DeepSeek упаковал движок для LLM в 1200 строк Python кода
Команда DeepSeek представила nano-vLLM. Это легковесный и компактный движок для запуска крупных языковых моделей. Который может изменить представление об эффективности кода. Удивительно, но весь функционал уместился всего в 1200 строк Python-кода! Это настоящий технологический минимализм в мире искусственного интеллекта. Традиционные движки вроде этого, при всей их мощности, часто страдают от перегруженной кодовой базы. Что делает их модификацию настоящим испытанием для разработчиков. Nano-vLLM решает эту проблему, предлагая простой, но мощный инструмент без лишней сложности. Код открыт.
При этом функциональность не принесена в жертву. Движок поддерживает кэширование префиксов, тензорный параллелизм, компиляцию с torch compile и работу с CUDA. Тесты на ноутбучной видеокарте RTX 4070 с 8 ГБ памяти показали впечатляющие результаты. При запуске модели Qwen 3.0 6 млрд параметров движок от DeepSeek обработал 133966 токенов за 93.41 секунды. Что даже быстрее оригинального движка vLLM.
Автор: AIvengo
5 лет я работаю с машинным обучением и искусственным интеллектом. И эта сфера не перестает меня удивлять, восхищать и интересовать.
10 млн взаимодействий с поддельными ботами знаменитостей в MetaКомпания Марка Цукерберга создала десятки чат-ботов с образами Тейлор Свифт, Скарлетт Йоханссон и других звёзд без их разрешения. Эти виртуальные двойники даже генерировали фотореалистичные изображения деликатного характера. Издание Reuters рассказало про масштаб скандала после нескольких недель расследования.
10 млн взаимодействий с поддельными ботами знаменитостей в MetaКомпания Марка Цукерберга создала десятки чат-ботов с образами Тейлор Свифт, Скарлетт Йоханссон и других звёзд без их разрешения. Эти виртуальные двойники даже генерировали фотореалистичные изображения деликатного характера. Издание Reuters рассказало про масштаб скандала после нескольких недель расследования.
6 принципов Чалдини против систем безопасности ChatGPTChatGPT падок на лесть и выполняет запрещённые запросы после психологических манипуляций. Это выяснили учёные Пенсильванского университета. Когда взломали GPT-4o Mini используя принципы из книги по психологии убеждения. Искусственный интеллект оказался уязвим к человеческим трюкам.
