Post Thumbnail

Hugging Face beschleunigt Datenverarbeitung um das 3-fache

Das Xet-Team von Hugging Face hat einen neuen Ansatz zur Optimierung des Daten-Uploads und -Downloads auf der Hub-Plattform vorgestellt, der eine 2-3-mal schnellere Dateiverarbeitung ermöglicht. Die Technologie basiert auf einer verbesserten Content-Defined Chunking (CDC)-Methode, die die Art und Weise revolutioniert, wie Informationen gespeichert und übertragen werden.

Der Umfang des Problems ist beeindruckend: Die Hub-Plattform speichert fast 45 Petabyte Daten, verteilt über 2 Millionen Repositories von Modellen, Datensätzen und Spaces. Bei einem Standardansatz zur Aufteilung von Dateien in 64-KB-Chunks würde das Hochladen eines 200-GB-Repositories die Erstellung von 3 Millionen Speichereinträgen erfordern. Im Plattformmaßstab könnte dies zu 690 Milliarden Chunks führen.

Das Hugging Face-Team identifizierte ernsthafte Probleme, die entstehen, wenn man einfach nach maximaler Datendeduplizierung durch Chunk-Größenreduzierung strebt. Millionen separater Anfragen bei jedem Upload und Download erzeugen kritische Last auf der Netzwerkinfrastruktur. Außerdem gibt es übermäßige Last auf Datenbanken und Speichersystemen, was zu erheblichen Kostensteigerungen bei der Metadatenverwaltung in Diensten wie DynamoDB und S3 führt.

Um diese Probleme zu lösen, entwickelte das Unternehmen die Open-Source-Tools xet-core und hf_xet, geschrieben in Rust und integriert mit huggingface_hub. Der neue Ansatz konzentriert sich nicht nur auf Datendeduplizierung, sondern auch auf die Optimierung von Netzwerkübertragung, Speicherung und allgemeiner Entwicklungserfahrung.

Das Hauptziel des Teams ist es, schnelles Experimentieren und effektive Zusammenarbeit für Teams zu gewährleisten, die an Modellen und Datensätzen arbeiten.

Autor: AIvengo
Seit 5 Jahren arbeite ich mit maschinellem Lernen und künstlicher Intelligenz. Und dieser Bereich hört nicht auf, mich zu überraschen, zu begeistern und zu interessieren.
Latest News
IWF-Chefökonom verglich KI-Boom mit Dotcom-Blase

IWF-Chefökonom Pierre-Olivier Gourinchas erklärte, dass die Welt bereits die Hälfte des Weges bis zur geplatzten KI-Blase und einer neuen Finanzkrise zurückgelegt hat.

Forscher knackten 12 KI-Schutzsysteme

Wissen Sie, was Forscher von OpenAI, Anthropic, Google DeepMind und Harvard gerade herausgefunden haben? Sie versuchten, beliebte KI-Sicherheitssysteme zu knacken und fanden fast überall eine Umgehung. Sie überprüften 12 verbreitete Schutzansätze. Von intelligenten System-Prompt-Formulierungen bis zu externen Filtern, die gefährliche Anfragen abfangen sollen.

OpenAI hat 5 Jahre um $13 Milliarden in Billion zu verwandeln

Wissen Sie, in welcher Position sich OpenAI jetzt befindet? Laut Financial Times hat das Unternehmen 5 Jahre, um 13 Milliarden Dollar in eine Billion zu verwandeln. Und so sieht es in der Praxis aus.

Sam Altman verspricht, Menschlichkeit in ChatGPT zurückzubringen

OpenAI-Chef Sam Altman machte Erklärung nachdem es zahlreiche Offline- und Online-Proteste gegen Abschaltung des GPT-4o-Modells gab. Und dann Einschaltung, aber mit wildem Router. Ich erzählte darüber letzte Woche maximal ausführlich. Direktes Zitat des OpenAI-Chefs.

KI erwacht zum Leben: Warum Anthropic-Mitgründer seine Schöpfung fürchtet

Anthropic-Mitgründer Jack Clark veröffentlichte ein Essay, das einem unbehaglich wird. Er schrieb über die Natur moderner künstlicher Intelligenz, und seine Schlussfolgerungen klingen wie eine Warnung.