DeepSeek öffnet Code von superschnellen GPU-Kernen

Das chinesische Unternehmen DeepSeek, das einen Durchbruch im Bereich der künstlichen Intelligenz erzielt hat, hat eine beispiellose Woche der Open-Source-Veröffentlichungen begonnen und das erste von fünf versprochenen Tools – FlashMLA – veröffentlicht. Dieses Projekt stellt optimierte GPU-Kerne dar, die das Unternehmen in seinen Produktionssystemen einsetzt.

FlashMLA implementiert Multi Latent Attention (MLA)-Technologie, eine revolutionäre Methode, die den Speicherverbrauch in Transformern durch effiziente Komprimierung von Schlüssel- und Wertmatrizen erheblich reduziert. Obwohl die Methode selbst ihre Wirksamkeit in DeepSeek-Modellen bereits bewiesen hat, existierten bis heute praktisch keine optimierten Implementierungen dafür.

Die wichtigsten technischen Eigenschaften von FlashMLA sind beeindruckend:
– Unterstützung für das bfloat16-Format, das ein optimales Gleichgewicht zwischen Rechengeschwindigkeit und Genauigkeit bietet
– KV-Seitencache mit Blockgröße 64
– Rekordleistung: bis zu 3000 GB/s in speicherbegrenzter Konfiguration
– 580 Teraflops in rechenbegrenzter Konfiguration auf H800 SXM5 GPU mit CUDA 12.6

Das Tool ist vollständig kompatibel mit der gesamten Palette von NVIDIA Hopper-Grafikprozessoren, einschließlich H100, H800 und anderen Modellen. FlashMLA ist besonders effektiv bei der Verarbeitung von Sequenzen variabler Länge, was es zu einer idealen Lösung für moderne Aufgaben der natürlichen Sprachverarbeitung macht.

DeepSeek plant, die Veröffentlichung seiner internen Entwicklungen fortzusetzen: Vom 24. bis 28. Februar verspricht das Unternehmen, vier weitere Repositories aus seinem internen Ökosystem öffentlich zugänglich zu machen. Diese Entscheidung könnte die Entwicklung der gesamten KI-Branche erheblich beeinflussen, indem sie Entwicklern Zugang zu fortschrittlichen Optimierungen bietet, die zuvor nur innerhalb des Unternehmens verfügbar waren.

Der Projektcode ist bereits auf GitHub verfügbar (github.com/deepseek-ai/FlashMLA), was Entwicklern auf der ganzen Welt ermöglicht, diese Optimierungen in ihre Projekte zu integrieren und potenziell die Leistung ihrer KI-Systeme erheblich zu verbessern.