Крёстный отец ИИ заявил, что эра скейлинга закончилась и нужна синтетика
Тот самый крёстный отец ИИ Джеффри Хинтон, который недавно пугал всех концом света от AGI, неожиданно переключился на рассуждения о масштабировании.
Ну так вот: учёный утверждает, что скейлинг не может продолжаться, потому что данные свободного интернета уже исчерпаны, а все более ценные данные хранятся в закрытых контурах компаний. Логика простая: весь Reddit, Wikipedia, форумы, новостные сайты — всё это уже скормили нейросетям по 10 раз. Дальше скрейпить нечего.
Хинтон ставит ставку на синтетику. Модели, по его мнению, должны сами генерировать себе данные для обучения в ходе рассуждений. То есть нейросеть будет сама себе придумывать задачи, сама их решать и на этом учиться.
«Именно так AlphaGo научился побеждать человека, и именно так большие языковые модели могут научиться быть умнее людей», — заявляет Хинтон. Напоминаю: AlphaGo играл сам с собой миллионы партий в го, пока не научился обыгрывать чемпионов мира. Теперь то же самое хотят провернуть с языковыми моделями.
Получается, раньше нейросети учились на том, что создали люди — тексты, книги, статьи, код. Теперь они будут учиться на том, что создали сами. Модели станут генерировать синтетические данные, обучаться на них и становиться умнее. Своеобразная петля самообучения.
Критики, правда, указывают на проблему: если модели будут учиться только на синтетических данных, они могут уйти в отрыв от реальности и начать галлюцинировать ещё сильнее.
Вот вам и новая эра. ИИ, который учится сам у себя, без участия людей. Что может пойти не так?
