DeepSeek открывает код супербыстрых GPU-ядер

Китайская компания DeepSeek, совершившая прорыв в сфере искусственного интеллекта, начала беспрецедентную неделю открытого кода, выпустив первый из пяти обещанных инструментов – FlashMLA. Этот проект представляет собой оптимизированные GPU-ядра, которые компания использует в своих производственных системах.

FlashMLA реализует технологию multi latent attention (MLA), революционный метод, позволяющий существенно сократить потребление памяти в трансформерах за счет эффективного сжатия матриц ключей и значений. Хотя сам метод уже доказал свою эффективность в моделях DeepSeek, до сегодняшнего дня оптимизированных реализаций для него практически не существовало.

Ключевые технические характеристики FlashMLA впечатляют:
— Поддержка формата bfloat16, обеспечивающего оптимальный баланс между скоростью и точностью вычислений
— Страничный кэш KV с размером блока 64
— Рекордная производительность: до 3000 ГБ/с при конфигурации с ограничением по памяти
— 580 терафлопс в конфигурации с ограничением по вычислениям на GPU H800 SXM5 при использовании CUDA 12.6

Инструмент полностью совместим со всей линейкой графических процессоров NVIDIA Hopper, включая H100, H800 и другие модели. FlashMLA особенно эффективен при обработке последовательностей переменной длины, что делает его идеальным решением для современных задач обработки естественного языка.

DeepSeek планирует продолжить публикацию своих внутренних разработок: с 24 по 28 февраля компания обещает выложить в открытый доступ еще четыре репозитория из своей внутренней экосистемы. Это решение может существенно повлиять на развитие всей индустрии ИИ, предоставив разработчикам доступ к передовым оптимизациям, ранее доступным только внутри компании.

Код проекта уже доступен на GitHub (github.com/deepseek-ai/FlashMLA), что позволяет разработчикам со всего мира начать интеграцию этих оптимизаций в свои проекты, потенциально значительно улучшив производительность своих ИИ-систем.