Sakana AI предложила новый способ обучать нейросети

Большинство современных нейросетей до сих пор обучаются по алгоритму backpropagation, созданному ещё в 1970-х. Он эффективен, но устроен довольно необычно: сначала сеть выдаёт ответ, затем получает сигнал ошибки и только после этого меняет свои параметры. Для компьютеров это работает отлично, а вот на процессы в человеческом мозге похоже мало.

Поэтому исследователи Sakana AI обратились к идее predictive coding, появившейся в работах о зрительной коре мозга. В такой системе каждый слой пытается предсказать активность следующего, а наверх передаётся только разница между ожиданием и реальным результатом. Однако у подхода была серьёзная проблема: в глубоких сетях сигнал затухал, и обучение останавливалось.

Решение оказалось неожиданным. Sakana AI использовала математический результат, который ещё в 1988 году описал Ян Лекун. Он показал, что если добавить к ограничениям системы множители Лагранжа, то они совпадут с градиентами backpropagation. На этой основе появился метод PC-ALM.

По данным исследователей, PC-ALM позволяет обучать сети глубиной до 1000 слоёв и почти не уступает backpropagation: на MNIST разница составляет около 2 п.п. Пока новый подход не даёт выигрыша в скорости или точности, но может оказаться полезным для нейроморфных компьютеров. Для рынка это сигнал, что поиск новых архитектур ИИ продолжается, а для бизнеса — что будущие вычислительные системы могут стать гораздо ближе к принципам работы мозга.