Japanische Wissenschaftler schufen System zum Lesen von Erinnerungen mittels MRT

Eine Gruppe japanischer Wissenschaftler aus dem NTT-Labor zeigte ein System, das auf Basis funktioneller MRT-Daten Textbeschreibungen dessen generiert, was eine Person sich erinnert, vorstellt oder sieht. Im Wesentlichen ist dies das Lesen von Erinnerungen. Und noch ein großer Schritt zum Lesen von Gedanken.

Im Gegensatz zu früheren Experimenten, bei denen es nur gelang, allgemeine Kategorien wie “Person” oder “Landschaft” zu erkennen, werden jetzt detailliertere Texte wie “Mann geht am Strand” gebildet. Die Autoren nennen dies “Untertitel zu Gedanken”.

Beim Training des Systems wurden Teilnehmern viele kurze Clips gezeigt und gleichzeitig wurde die Gehirnaktivität mit funktioneller MRT aufgezeichnet. Mit Textbeschreibungen der Videos wurde ein Sprachmodell trainiert, um semantische Merkmale zu erhalten. Dann wurden für jedes Merkmal Decoder trainiert, die anhand von Gehirnaktivitätsmustern diese Merkmale vorhersagen.

Nach dem Training wurde der Proband gebeten, sich einfach an eine zuvor gesehene Szene zu erinnern. Und das System wählte eine Formulierung, die maximal mit dem übereinstimmte, was über die funktionelle MRT “gelesen” wurde.

Tests zeigten ein interessantes Muster. Die genauesten Untertitel entstehen, wenn der Teilnehmer dasselbe Video ansieht oder versucht, sich daran zu erinnern. Wenn der Teilnehmer etwas Neues sieht oder sich vorstellt, fällt die Genauigkeit: das Modell geht häufiger zu allgemeinen Formulierungen über und irrt sich in Details.

Wissenschaftler sehen darin Potenzial für den Aufbau zukünftiger nicht-invasiver “Gehirn-Text”-Schnittstellen. Allerdings muss das Modell in diesem Stadium lange auf eine bestimmte Person eingestellt werden.