Sutskever a annoncé la fin de l’ère de la mise à l’échelle des modèles d’IA

Ilya Sutskever a donné une interview à Dwarkesh Patel. Sutskever déclare : “L’ère de la mise à l’échelle des modèles est terminée : nous revenons à l’ère de la recherche”. Simplement ajouter plus de puissance de calcul ne fonctionne plus. Il faut de nouvelles découvertes, pas simplement plus d’argent et de puces.

Le goulot d’étranglement des modèles modernes — c’est toujours la généralisation. C’est précisément ici que l’intelligence artificielle est en retard critique sur l’humain. Et c’est le principal obstacle sur le chemin vers l’AGI.

Sutskever dit directement que les scores élevés sur les benchmarks — c’est dans une certaine mesure un mirage. La qualité réelle est en retard parce que les modèles sont surentraînés sur les tests pendant l’apprentissage par renforcement. Et les chercheurs ne font qu’aggraver le problème en produisant en série des benchmarks et des cycles d’entraînement identiques.

Et ici apparaît une énigme. Sutskever dit qu’il a des idées sur ce qui manque aux modèles actuels, mais ne les partage pas. Bien que des indices transparaissent. Bien sûr, dans son entreprise ils développent en ce moment même des méthodes basées sur l’apprentissage continu et des fonctions de récompense dynamiques.

La prévision sonne vague : l’AGI peut arriver dans 5 comme dans 20 ans. Mais sa recette pour la survie de l’humanité sonne radical. Le moyen le plus fiable de ne pas rester inutiles et de garder le contrôle — la fusion avec l’intelligence artificielle.

Il s’avère que l’un des créateurs de ChatGPT annonce que l’ère de la simple mise à l’échelle est terminée. Les benchmarks mentent. Et la seule voie pour les humains — devenir des cyborgs.