Учёные обнаружили у ИИ новый феномен — «эффект тренировки в помещении»

Исследователи из Массачусетского технологического института (MIT) и других научных центров совершили неожиданное открытие в области обучения искусственного интеллекта, которое противоречит общепринятым подходам к тренировке ИИ-агентов.

Учёные обнаружили феномен, названный ими «эффектом тренировки в помещении» (indoor training effect). Вопреки традиционному мнению, что симулированная среда обучения должна максимально точно соответствовать реальным условиям работы, исследование показало: тренировка в полностью отличающейся, более предсказуемой среде может привести к лучшим результатам.

«Если мы учимся играть в теннис в закрытом помещении, где нет шума, мы можем легче освоить различные удары. Затем, перейдя в более шумную среду, например, на ветреный корт, у нас может быть более высокая вероятность хорошей игры, чем если бы мы начали обучение в ветреных условиях», – объясняет Серена Боно, научный сотрудник MIT Media Lab и ведущий автор исследования.

Для проверки своей теории исследователи использовали игры Atari, модифицированные для включения элемента непредсказуемости. В частности, они экспериментировали с игрой Pac-Man, изменяя вероятности движения призраков. Результаты оказались неожиданными: ИИ-агент, обученный в версии игры без шума, показывал лучшие результаты в «шумной» среде, чем агент, тренировавшийся в условиях с помехами.

Это открытие особенно важно для развития домашней робототехники. Традиционно считалось, что робот, обученный выполнять бытовые задачи на фабрике, может неэффективно работать на кухне пользователя из-за различий в среде. Новое исследование предлагает принципиально иной подход к решению этой проблемы.

«Это совершенно новый взгляд на проблему. Вместо того чтобы пытаться сделать тренировочную среду максимально похожей на тестовую, мы можем создавать симулированные среды, где ИИ-агент учится даже лучше», – отмечает соавтор исследования Спандан Мадан, аспирант Гарвардского университета.