ИИ научился обучать ИИ лучше людей
В Nature опубликовали статью про то, как 1 ИИ учил другой. И получилось лучше, чем когда это делают люди. Вот вам и очередной гвоздь в крышку гроба человеческой исключительности.
Возможно, вы уже слышали про мета-обучение Суть в том, что вместо того, чтобы учить 1 модель, мы учим 2. Первую — обычную, а вторую, так называемую мета-модель, — чтобы регулировать, как учится первая. То есть в процессе обучения мета-модель подбирает гиперпараметры и алгоритмы для базовой модели. Получается рекурсивный кошмар: система учится, как лучше учиться.
А теперь начинается самое интересное. Исследователи взяли эту идею и применили для reinforcement learning. Технически получается 2 уровня обучаемых параметров. 1 — обычная политика агента. 2 — мета-параметры, которые определяют, по какому правилу будет обновляться политика.
Чтобы оптимизировать мета-параметры, запускаются сотни агентов с разными политиками в разных средах. Их опыт — это данные для обучения мета-модели. Чем больше она видит, тем лучше становится правило обновления и тем эффективнее она учит агентов. Самообучающаяся самообучалка, короче.
И с таким подходом авторам удалось синтезировать алгоритм обучения, который превзошёл предыдущие человеческие решения. На игровом бенчмарке Atari обученный с его помощью агент выбил сотку. Люди проиграли машине в создании алгоритмов для обучения машин.
Конечно, есть ложка дёгтя. Компьютерных мощностей на такие штуки нужно просто море. Плюс не факт, что если стрельнуло в играх, стрельнёт в чём-то серьёзном.
