Японские учёные создали систему чтения воспоминаний через МРТ

Группа японских учёных из лаборатории NTT показала систему, которая по данным функциональной МРТ генерирует текстовые описания того, что человек вспоминает, представляет или видит. По сути, это чтение воспоминаний. И ещё 1 большой шаг к чтению мыслей.

В отличие от более ранних экспериментов, где удавалось распознавать лишь общие категории вроде “человек” или “пейзаж”, теперь формируются более подробные тексты вроде “мужчина идёт по пляжу”. Авторы называют это “подписи к мыслям”.

В процессе обучения системы участникам показывали множество коротких клипов и одновременно записывали активность мозга на функциональной МРТ. На текстовых описаниях роликов тренировали языковую модель, получая семантические признаки. Затем для каждого признака обучали декодеры, которые по паттернам мозговой активности предсказывают эти признаки.

После обучения испытуемого просили просто вспомнить ранее увиденную сцену. И система подбирала формулировку, максимально согласующуюся с тем, что “читалось” по функциональной МРТ.

Тесты показали интересную закономерность. Самые точные подписи получаются тогда, когда участник смотрит то же самое видео или пытается его вспомнить. Если участник видит или представляет что-то новое, точность падает: модель чаще уходит в общие формулировки и ошибается в деталях.

Учёные видят в этом потенциал для построения будущих неинвазивных интерфейсов “мозг—текст”. Правда, на данном этапе модель нужно долго настраивать под конкретного человека.