Mein Name ist AIvengo und ich präsentiere Ihnen tägliche Nachrichten über künstliche Intelligenz
Hugging Face beschleunigt Datenverarbeitung um das 3-fache
Das Xet-Team von Hugging Face hat einen neuen Ansatz zur Optimierung des Daten-Uploads und -Downloads auf der Hub-Plattform vorgestellt, der eine 2-3-mal schnellere Dateiverarbeitung ermöglicht. Die Technologie basiert auf einer verbesserten Content-Defined Chunking (CDC)-Methode, die die Art und Weise revolutioniert, wie Informationen gespeichert und übertragen werden.
Der Umfang des Problems ist beeindruckend: Die Hub-Plattform speichert fast 45 Petabyte Daten, verteilt über 2 Millionen Repositories von Modellen, Datensätzen und Spaces. Bei einem Standardansatz zur Aufteilung von Dateien in 64-KB-Chunks würde das Hochladen eines 200-GB-Repositories die Erstellung von 3 Millionen Speichereinträgen erfordern. Im Plattformmaßstab könnte dies zu 690 Milliarden Chunks führen.
Das Hugging Face-Team identifizierte ernsthafte Probleme, die entstehen, wenn man einfach nach maximaler Datendeduplizierung durch Chunk-Größenreduzierung strebt. Millionen separater Anfragen bei jedem Upload und Download erzeugen kritische Last auf der Netzwerkinfrastruktur. Außerdem gibt es übermäßige Last auf Datenbanken und Speichersystemen, was zu erheblichen Kostensteigerungen bei der Metadatenverwaltung in Diensten wie DynamoDB und S3 führt.
Um diese Probleme zu lösen, entwickelte das Unternehmen die Open-Source-Tools xet-core und hf_xet, geschrieben in Rust und integriert mit huggingface_hub. Der neue Ansatz konzentriert sich nicht nur auf Datendeduplizierung, sondern auch auf die Optimierung von Netzwerkübertragung, Speicherung und allgemeiner Entwicklungserfahrung.
Das Hauptziel des Teams ist es, schnelles Experimentieren und effektive Zusammenarbeit für Teams zu gewährleisten, die an Modellen und Datensätzen arbeiten.
Autor: AIvengo
Seit 5 Jahren arbeite ich mit maschinellem Lernen und künstlicher Intelligenz. Und dieser Bereich hört nicht auf, mich zu überraschen, zu begeistern und zu interessieren.
Die Investition von Taiwan Semiconductor Manufacturing Co. (TSMC) in Höhe von 100 Milliarden Dollar zur Erweiterung der Produktion in den Vereinigten Staaten ist "eine großartige Nachricht", sagte Qualcomm-CEO Cristiano Amon in einem Interview mit CNBC am Dienstag, dem 4. März 2025. Seinen Angaben zufolge trägt dies zur Diversifizierung der Halbleiterproduktionsstandorte bei.
Der private Suchdienst DuckDuckGo baut weiterhin seine Position im Bereich der generativen künstlichen Intelligenz aus. Laut einem am Donnerstag, dem 6. März 2025, veröffentlichten Blog-Beitrag gab das Unternehmen den Abschluss der Beta-Tests seiner Chat-Schnittstelle bekannt, die jetzt offiziell Duck.ai heißt und den umständlicheren Namen DuckDuckGo AI Chat aufgibt.
Der Milliardär und Eigentümer der Los Angeles Times, Patrick Soon-Shiong, der ein neues KI-Tool zur Generierung gegensätzlicher Perspektiven zu Meinungsbeiträgen vorstellte, wusste nicht, dass das System weniger als 24 Stunden nach dem Start Pro-KKK-Argumente erstellt hatte — und das sogar noch Stunden nachdem die skandalösen KI-Kommentare von der Website der Publikation entfernt worden waren. Der Vorfall schuf ein enormes Hindernis für die Times, die danach strebt, alte Abonnenten zurückzugewinnen und neue durch innovative technologische Lösungen anzuziehen.
Google hat die Einführung eines neuen KI-Tools für den Shopping-Tab angekündigt, das Benutzern helfen wird, Kleidung anhand ihrer verbalen Beschreibung zu finden. Die am Mittwoch, dem 5. März 2025, gemachte Ankündigung umfasst auch die Erweiterung der Funktionen von Augmented-Reality-Tools (AR) für Kosmetik und virtuelle Anprobe.
Der Technologieriese Google beschränkt weiterhin die Fähigkeiten seines KI-Assistenten Gemini im Bereich des politischen Diskurses, obwohl die Hauptkonkurrenten des Unternehmens, darunter OpenAI, Anthropic und Meta, ihre Chatbots in den letzten Monaten bereits für die Diskussion politisch sensibler Themen angepasst haben.
