ByteDance veröffentlichte Modell mit 512.000 Token Kontext

Das Unternehmen ByteDance veröffentlichte ein offenes KI-Modell mit unglaublichem Kontext von 512.000 Token. Der Modellname ist Seed-OSS-36B. Link in der Beschreibung.

Während die Welt über TikTok und das Weiße Haus diskutiert, rollt ByteDance still eine Technologie aus, die ein Informationsvolumen verarbeitet, das einem ganzen Bücherregal in einer Sitzung entspricht! 3 Modellversionen — mit synthetischen Daten, ohne sie und eine instruktive Version — jede für ihre Aufgaben optimiert.

Die Architektur beeindruckt durch ihre Eleganz. 36 Milliarden Parameter, verteilt auf 64 Schichten. Vokabular von 155.000 Token. Aber die wahre Magie — der “thinking budget”-Mechanismus, das Budget fürs Nachdenken! Sie legen der Modell buchstäblich fest, wie lange sie vor der Antwort denken soll. Wollen Sie eine sofortige Antwort — setzen Sie 0. Brauchen Sie tiefe Analyse — erhöhen Sie das Budget.

Die Testergebnisse sind großartig! Mathematik — 91,7% bei AIME. Programmierung — 67,4% bei LiveCodeBench. Arbeit mit langem Kontext — 94,6% bei RULER. Alle Indikatoren — absolute Rekorde unter offenen Modellen!

Die Schlüsselfrage hier ist, wie die Leistung bei realen Aufgaben ist, nicht bei Benchmarks. Aber bisher zeigt ByteDance unerwartet Kompetenzen auf Weltniveau in LLM. Das ist interessant.