Huawei нашла способ разогнать гигантские ИИ-кластеры

Post Thumbnail

Иной ИИ-кластер насчитывает десятки тысяч ускорителей, но выжать из них полную мощность почти нереально. Huawei утверждает: в системе со 100 тыс. NPU реально трудится лишь около 20% вычислительных ресурсов, а всё остальное время железо простаивает в ожидании данных. И чем крупнее модель, тем острее проблема.

Корень зла — обмен данными. Модели с триллионами параметров без конца гоняют туда-сюда промежуточную информацию, а ИИ-агенты вдобавок плодят поток запросов. В итоге скорость упирается уже не столько в процессоры, сколько в то, что их соединяет.

Huawei предлагает архитектуру UnifiedBus. Компания свела вместе больше десяти протоколов и заявляет о росте пропускной способности примерно со 100 Гбайт/с до нескольких Тбайт/с, а задержку RTT обещает срезать с 7 до 2 мкс.

Система связывает CPU, NPU, RAM и SSD напрямую и даёт им единую адресацию памяти внутри SuperPoD. По задумке Huawei, DDR сможет подрабатывать дополнительной памятью для NPU: это ускорит поиск и рекомендации, вдвое поднимет производительность векторного поиска и заодно ослабит зависимость от дорогой HBM.

Для физического соединения внутри стоек Huawei сделала UnifiedBus LinkBlade без кабелей. В конфигурации SuperPoD с 4096 NPU, по данным компании, это экономит около 196 км медных соединений. Между стойками трудится LinkDevice с 176 портами по 1,6 Тбит/с, что в сумме даёт 280 Тбит/с.

Huawei уже показала суперкластер для агентного ИИ на базе SuperPoD TaiShan 950 и Atlas 960, OceanStor M900 и Xinghe UBG. Подтвердятся заявленные цифры на реальных нагрузках — и главным козырем крупных ИИ-систем станет не только число ускорителей, но и умение быстро сводить их ресурсы воедино.

—

Телеграм про право в IT и AI. IT юристы — PravoWeb.com

Почитать из последнего
ИИ-ассистент научили разбирать документы и алерты
Главный вопрос корпоративного ИИ прост: что будет с данными после запроса? РТК-ЦОД предлагает не рисковать ими. На форуме «Цифровые решения» компания с блоком ИТ «Ростелекома» представила ассистента для организаций с жёсткими требованиями к защите.
К 2027 году чипов хватит на миллиарды ИИ-агентов
Похоже, у ИИ скоро вылезет проблема, которую не залатать покупкой ещё одного чипа. По расчётам Epoch AI, вычислительной мощности, выпущенной с 2025 по 2027 год, хватит для одновременной работы от 33 до 171 млн агентов уровня передовых моделей.
Kandinsky научился лепить видео со звуком
ИИ-видео всё меньше смахивает на немой клип. «Сбер» показал Kandinsky 6.0 Video - модель, которая разом генерит картинку и звук: речь персонажей, музыку и шумы окружения.
Три профессии, которые ИИ уже плодит прямо сейчас
ИИ перетряхивает рынок труда не только тем, что съедает привычные задачи. Вместе с автоматизацией вылезают специалисты, которых ещё несколько лет назад никто бы не вообразил, и часть таких профессий формируется на глазах.
Google научила эмбеддинги переваривать сразу пять типов данных
Google порешила, что эмбеддингам хватит возиться с одним текстом. Компания выкатила вторую версию EmbeddingGemma: теперь система сваливает в общее векторное пространство текст, код, изображения, видео и аудио. Так что на вход можно подавать сразу несколько типов данных.