Суцкевер объявил конец эпохи масштабирования ИИ-моделей
Илья Суцкевер дал интервью Дваркешу Пателу. Суцкевер заявляет: «Эпоха масштабирования моделей закончилась: мы возвращаемся в эпоху рисерча». Просто добавить ещё вычислительных мощностей больше не работает. Нужны новые открытия, а не просто больше денег и чипов.
Узкое место современных моделей — это всё ещё обобщение. Именно здесь искусственный интеллект критически отстаёт от человека. И это главное препятствие на пути к AGI.
Суцкевер прямо говорит, что высокие оценки на бенчмарках — это в какой-то степени мираж. Реальное качество отстаёт, потому что модели переобучаются под тесты во время обучения с подкреплением. А исследователи только усугубляют проблему, штампуя однотипные бенчмарки и тренировочные циклы.
И вот здесь появляется загадка. Суцкевер говорит, что у него есть идеи о том, чего не хватает текущим моделям, но не делится ими. Хотя проскальзывают намёки. Разумеется, в его компании прямо сейчас разрабатывают методы на основе непрерывного обучения и динамических функций вознаграждения.
Прогноз звучит расплывчато: AGI может наступить и через 5, и через 20 лет. Но вот его рецепт выживания для человечества звучит радикально. Самый надёжный способ не остаться бесполезными и сохранить контроль — слияние с искусственным интеллектом.
Получается, один из создателей ChatGPT объявляет, что эра простого масштабирования закончилась. Бенчмарки врут. А единственный путь для людей — стать киборгами.
