DeepSeek упаковал движок для LLM в 1200 строк Python кода
Команда DeepSeek представила nano-vLLM. Это легковесный и компактный движок для запуска крупных языковых моделей. Который может изменить представление об эффективности кода. Удивительно, но весь функционал уместился всего в 1200 строк Python-кода! Это настоящий технологический минимализм в мире искусственного интеллекта. Традиционные движки вроде этого, при всей их мощности, часто страдают от перегруженной кодовой базы. Что делает их модификацию настоящим испытанием для разработчиков. Nano-vLLM решает эту проблему, предлагая простой, но мощный инструмент без лишней сложности. Код открыт.
При этом функциональность не принесена в жертву. Движок поддерживает кэширование префиксов, тензорный параллелизм, компиляцию с torch compile и работу с CUDA. Тесты на ноутбучной видеокарте RTX 4070 с 8 ГБ памяти показали впечатляющие результаты. При запуске модели Qwen 3.0 6 млрд параметров движок от DeepSeek обработал 133966 токенов за 93.41 секунды. Что даже быстрее оригинального движка vLLM.
Автор: AIvengo
5 лет я работаю с машинным обучением и искусственным интеллектом. И эта сфера не перестает меня удивлять, восхищать и интересовать.
Meta инвестирует сотни млрд в суперкластеры с энергопотреблением 5 ГВтМарк Цукерберг объявил о беспрецедентных инвестициях в инфраструктуру искусственного интеллекта нового поколения! Компания вложит сотни млрд долларов в создание суперкластеров серверов. Которые будут потреблять от 1 до 5 ГВт каждый. Это энергопотребление на уровне целой атомной электростанции!
Рай для интровертов: ИИ будет разговаривать с сотрудниками компанийGoogle выпустила новую функцию и теперь искусственный интеллект может звонить в местные компании от вашего имени. Чтобы узнать информацию о ценах и доступности услуг. Вам больше не нужно самим поднимать трубку и разговаривать с сотрудниками. Именно так выглядит рай интроверта.
OpenAI объединила ChatGPT, Deep Research и Operator в одном агентеКомпания OpenAI представила ChatGPT Agent. Мощное объединение ChatGPT, Deep Research и Operator в едином решении. Принцип работы максимально прост. Вы ставите цель, например, отправить письма, создать таблицы, купить билеты или забронировать отели. ChatGPT Agent самостоятельно разбивает эту цель на отдельные задачи, переходит по нужным сайтам, ищет информацию и заполняет формы. Перед критически важными действиями, такими как оплата, публикация или отправка, агент обязательно запрашивает ваше подтверждение.
Только 1 программист в мире смог обыграть ИИ от OpenAIПредставьте себе мир, где искусственный интеллект соревнуется с лучшими программистами планеты. Такое противостояние произошло на престижном турнире AtCoder World Tour Finals. Это 1 из самых элитных соревнований в мире программирования, куда попасть крайне сложно.
