Le père de l’apprentissage par renforcement a prédit la fin de l’ère des grands modèles de langage

Richard Sutton – c’est l’un des pères de l’apprentissage par renforcement et lauréat du prix Turing. Alors il a déclaré que l’ère des grands modèles de langage touche à sa fin. Ensuite, selon lui, vient l’ère de l’expérience. Et voici pourquoi il pense ainsi.

Selon lui, les grands modèles de langage sont une impasse. La vraie intelligence devrait apprendre de l’expérience, pas des données. Et les réseaux neuronaux modernes – c’est seulement une imitation de l’intelligence. Ils n’ont pas d’expérience, n’effectuent pas d’actions et ne reçoivent pas de retour de la réalité. Par conséquent, ils ne sont pas capables de vraie cognition.

Selon Sutton, l’humanité crée une nouvelle forme de vie basée sur la conception, pas sur la reproduction biologique. Et nous devenons témoins de la transition d’un monde où tout est copié à un monde où tout est conçu.

Les êtres vivants sont des réplicateurs, et l’IA sont des concepteurs, explique-t-il. Nous pouvons créer des systèmes qui créeront d’autres systèmes, et tout cela par construction, pas par copie. Selon lui, c’est une nouvelle étape de l’évolution de l’Univers.

Il s’avère que Sutton considère le boom actuel des grands modèles de langage comme un phénomène temporaire. La vraie percée, selon lui, se produira quand les systèmes d’IA commenceront à apprendre par interaction avec la réalité, recevant des retours de leurs actions. Pas par consommation de téraoctets de texte, mais par expérience réelle. Comme le font les êtres vivants.

Voilà la vision de l’un des fondateurs de l’apprentissage automatique moderne sur l’avenir de la technologie. Il s’avère que les grands modèles de langage ne sont pas le final, mais seulement une étape intermédiaire.