OpenAI startet Benchmark-Programm Pioneers Program
OpenAI hat die Einführung eines ambitionierten Pioneers Program angekündigt, das darauf abzielt, grundlegend neue Standards für die Bewertung künstlicher Intelligenz zu schaffen. Das Unternehmen beabsichtigt, ein System zur Prüfung von KI-Modellen zu entwickeln, das ihre tatsächliche Wirksamkeit in verschiedenen Berufsbereichen besser widerspiegelt.
“Mit der zunehmenden Beschleunigung der KI-Einführung in verschiedenen Branchen entsteht die Notwendigkeit, ihre Auswirkungen auf die Welt besser zu verstehen und zu verbessern”, heißt es im Blog-Post des Unternehmens. “Die Schaffung spezialisierter Bewertungsmethoden ist ein Weg, um reale Anwendungsfälle genauer abzubilden und Teams bei der Bewertung der Modellleistung unter praktischen Bedingungen mit hohem Einsatz zu unterstützen.”
Die Notwendigkeit neuer Standards wurde nach dem jüngsten Skandal mit dem Crowdsourcing-Benchmark LM Arena und dem Maverick-Modell von Meta offensichtlich. Bestehende Bewertungsmethoden konzentrieren sich oft auf die Lösung hochspezialisierter Aufgaben, beispielsweise mathematischer Probleme auf Doktorandenniveau, können leicht umgangen werden oder entsprechen nicht den tatsächlichen Bedürfnissen der Benutzer.
Im Rahmen des Pioneers Program plant OpenAI, spezialisierte Benchmarks für Schlüsselbranchen zu erstellen, darunter Recht, Finanzen, Versicherungen, Gesundheitswesen und Rechnungswesen. In den kommenden Monaten wird das Labor mit verschiedenen Unternehmen zusammenarbeiten, um diese Standards zu entwickeln, die dann öffentlich zugänglich gemacht werden.
“Die erste Gruppe von Teilnehmern wird aus Startups bestehen, die dabei helfen werden, die Grundlagen für das OpenAI Pioneers-Programm zu legen”, berichtet das Unternehmen. “Wir wählen eine kleine Anzahl von Startups aus, die an wichtigen angewandten Problemen arbeiten, bei denen KI einen echten Einfluss haben kann.”
Programmteilnehmer erhalten die Möglichkeit, mit dem OpenAI-Team an der Verbesserung von Modellen durch Reinforcement Fine Tuning-Techniken zu arbeiten, die Modelle für einen engen Aufgabenbereich optimieren.
Die Hauptfrage ist jedoch, ob die KI-Gemeinschaft Benchmarks akzeptieren wird, die mit OpenAI-Finanzierung erstellt wurden. Obwohl das Unternehmen bereits früher ähnliche Initiativen unterstützt hat, könnte die Partnerschaft mit Kunden zur Erstellung von KI-Tests ethische Fragen in der Fachgemeinschaft aufwerfen.
