Scientifiques japonais ont créé système de lecture de mémoires via IRM

Un groupe de scientifiques japonais du laboratoire NTT a montré un système qui génère des descriptions textuelles de ce qu’une personne se souvient, imagine ou voit sur la base de données d’IRM fonctionnelle. Essentiellement, c’est la lecture de mémoires. Et encore un grand pas vers la lecture de pensées.

Contrairement aux expériences antérieures où il n’était possible de reconnaître que des catégories générales comme “personne” ou “paysage”, maintenant des textes plus détaillés sont formés comme “homme marchant sur plage”. Les auteurs appellent cela “sous-titres pour pensées”.

Pendant l’entraînement du système, les participants ont visionné de nombreux clips courts et simultanément l’activité cérébrale était enregistrée avec IRM fonctionnelle. Un modèle de langage a été entraîné sur des descriptions textuelles des vidéos, obtenant des caractéristiques sémantiques. Ensuite des décodeurs ont été entraînés pour chaque caractéristique qui prédisent ces caractéristiques à partir de modèles d’activité cérébrale.

Après l’entraînement, le sujet était invité à simplement se rappeler une scène précédemment vue. Et le système sélectionnait une formulation maximalement cohérente avec ce qui était “lu” via IRM fonctionnelle.

Les tests ont montré un modèle intéressant. Les sous-titres les plus précis sont obtenus lorsque le participant regarde la même vidéo ou essaie de s’en souvenir. Si le participant voit ou imagine quelque chose de nouveau, la précision chute : le modèle va plus souvent vers des formulations générales et fait des erreurs dans les détails.

Les scientifiques y voient un potentiel pour construire de futures interfaces “cerveau-texte” non invasives. Cependant, à ce stade le modèle doit être réglé longtemps pour une personne spécifique.