DeepSeek упаковал движок для LLM в 1200 строк Python кода
Команда DeepSeek представила nano-vLLM. Это легковесный и компактный движок для запуска крупных языковых моделей. Который может изменить представление об эффективности кода. Удивительно, но весь функционал уместился всего в 1200 строк Python-кода! Это настоящий технологический минимализм в мире искусственного интеллекта. Традиционные движки вроде этого, при всей их мощности, часто страдают от перегруженной кодовой базы. Что делает их модификацию настоящим испытанием для разработчиков. Nano-vLLM решает эту проблему, предлагая простой, но мощный инструмент без лишней сложности. Код открыт.
При этом функциональность не принесена в жертву. Движок поддерживает кэширование префиксов, тензорный параллелизм, компиляцию с torch compile и работу с CUDA. Тесты на ноутбучной видеокарте RTX 4070 с 8 ГБ памяти показали впечатляющие результаты. При запуске модели Qwen 3.0 6 млрд параметров движок от DeepSeek обработал 133966 токенов за 93.41 секунды. Что даже быстрее оригинального движка vLLM.
Автор: AIvengo
5 лет я работаю с машинным обучением и искусственным интеллектом. И эта сфера не перестает меня удивлять, восхищать и интересовать.
Dongfeng внедряет роботов Walker S ростом 1.7м с 41 сервоприводомDongfeng Motor объединяет силы с Ubtech Robotics, чтобы интегрировать инновационных роботов Walker S в производственные линии. Эти технологические чудеса ростом 1 метр и 70 сантиметров готовы трансформировать традиционные процессы сборки автомобилей. Генеральный менеджер Dongfeng Motor подчеркивает, что внедрение искусственного интеллекта в этих роботах значительно повысит качество проверки и сборки компонентов.
Аспирант MIT сократил реставрацию картин с 230 часов до 3.5 часовАспирант MIT Алекс Качкин разработал крутой метод реставрации картин с помощью искусственного интеллекта. Сокращающий время работы с многих месяцев до нескольких часов. В качестве демонстрации он восстановил работу неизвестного нидерландского мастера 15 века, серьезно пострадавшую от времени.
ИИ-протез из Канады анализирует объекты и решает, как их взятьИскусственный интеллект дарит протезам самостоятельность! Ученые из Мемориального университета Ньюфаундленда создали революционный протез руки, который буквально "думает" сам. В отличие от традиционных моделей, требующих считывания сигналов мышц через датчики, новое устройство полностью автономно.
DeepSeek упаковал движок для LLM в 1200 строк Python кодаКоманда DeepSeek представила nano-vLLM. Это легковесный и компактный движок для запуска крупных языковых моделей. Который может изменить представление об эффективности кода. Удивительно, но весь функционал уместился всего в 1200 строк Python-кода! Это настоящий технологический минимализм в мире искусственного интеллекта. Традиционные движки вроде этого, при всей их мощности, часто страдают от перегруженной кодовой базы. Что делает их модификацию настоящим испытанием для разработчиков. Nano-vLLM решает эту проблему, предлагая простой, но мощный инструмент без лишней сложности. Код открыт.
Провал роботакси Tesla: 11 нарушений ПДД за первые дни из 20 машинМечта о роботакси сталкивается с суровой реальностью! Тесла запустила публичные испытания беспилотных такси в Остине, но результаты оказались далеки от обещанного технологического чуда. За первые дни тестирования зафиксировано минимум 11 серьезных нарушений правил дорожного движения. И это при том, что на дороги вышло всего 20 автомобилей, отобранных для ограниченного круга блогеров. Филип Купман, профессор Университета Карнеги-Меллон и эксперт по автономным технологиям, не скрывает удивления: "Это ужасно быстро для появления такого количества видео с нестабильным вождением".
