Sutskever verkündete das Ende der Ära der Skalierung von KI-Modellen

Ilya Sutskever gab Dwarkesh Patel ein Interview. Sutskever erklärt: „Die Ära der Modellskalierung ist vorbei: wir kehren zur Ära der Forschung zurück“. Einfach mehr Rechenleistung hinzuzufügen funktioniert nicht mehr. Es braucht neue Entdeckungen, nicht einfach mehr Geld und Chips.

Der Engpass moderner Modelle — das ist immer noch Generalisierung. Genau hier hinkt künstliche Intelligenz kritisch hinter dem Menschen her. Und das ist das Haupthindernis auf dem Weg zu AGI.

Sutskever sagt direkt, dass hohe Bewertungen bei Benchmarks — das ist in gewissem Maße eine Fata Morgana. Die reale Qualität hinkt hinterher, weil Modelle während des Verstärkungslernens auf Tests übertrainiert werden. Und Forscher verschlimmern das Problem nur, indem sie gleichartige Benchmarks und Trainingszyklen ausstanzen.

Und hier erscheint ein Rätsel. Sutskever sagt, dass er Ideen darüber hat, was aktuellen Modellen fehlt, aber teilt sie nicht. Obwohl Andeutungen durchsickern. Natürlich entwickelt man in seinem Unternehmen gerade jetzt Methoden basierend auf kontinuierlichem Lernen und dynamischen Belohnungsfunktionen.

Die Prognose klingt vage: AGI kann sowohl in 5 als auch in 20 Jahren eintreten. Aber sein Rezept für das Überleben der Menschheit klingt radikal. Der zuverlässigste Weg, nicht nutzlos zu bleiben und die Kontrolle zu behalten — Verschmelzung mit künstlicher Intelligenz.

Es stellt sich heraus, einer der Schöpfer von ChatGPT verkündet, dass die Ära der einfachen Skalierung vorbei ist. Benchmarks lügen. Und der einzige Weg für Menschen — Cyborgs zu werden.