NVIDIA решила проблему симуляционно-реального разрыва в обучении роботов

Джим Фан, директор по искусственному интеллекту в NVIDIA, рассказал о впечатляющем достижении их команды. Гуманоидные роботы научились ходить и ориентироваться в пространстве без предварительного обучения в реальном мире.

Вся тренировка была проведена исключительно в виртуальной среде. После завершения симуляции роботы сразу же были отправлены на выполнение задач в реальном мире. И они справились с ними без какой-либо дополнительной настройки или адаптации. Самое удивительное в этом процессе – это невероятное сжатие времени обучения. То, что заняло бы 10 лет в реальности, удалось уместить всего в 2 часа виртуальной тренировки.

Как же инженерам NVIDIA удалось достичь такого результата? Во-первых, в симуляции нет физических ограничений, свойственных реальному миру. Робот может падать и вставать хоть 1000000 раз подряд без риска поломки. В реальности каждое падение могло бы привести к серьёзным повреждениям дорогостоящего оборудования.

Во-вторых, в виртуальной среде можно значительно ускорить течение времени. Симуляция не имеет ограничений «реального времени» – процесс можно запускать с любой скоростью, насколько позволяют вычислительные мощности.

В-третьих, разработчики применили метод параллельного обучения. В виртуальной среде можно одновременно запускать множество цифровых копий робота. И собирать опыт со всех них сразу, что радикально ускоряет накопление данных для обучения.

Ещё одно неожиданное открытие: для моделирования человекоподобных движений не потребовались гигантские нейросети. Модель с 1500000 параметров – не миллиардами! – оказалась достаточной, чтобы воспроизвести «подсознательную механику» человеческого тела. Это на несколько порядков меньше, чем у современных языковых моделей.

Ключевой вызов, который удалось преодолеть инженерам NVIDIA, известен как проблема «симуляционно-реального разрыва». Обычно роботы, обученные в виртуальной среде, испытывают трудности при переходе в реальный мир из-за несовершенства симуляции. Однако команде NVIDIA удалось создать настолько точную модель физики в виртуальной среде, что роботы смогли применить полученные навыки в реальности без дополнительных настроек.