Des chercheurs du Massachusetts Institute of Technology (MIT) et d’autres centres scientifiques ont fait une découverte inattendue dans le domaine de l’entraînement de l’IA qui contredit les approches conventionnelles de l’entraînement des agents d’IA.
Les scientifiques ont découvert un phénomène qu’ils ont nommé « l’effet d’entraînement en intérieur ». Contrairement à l’opinion traditionnelle selon laquelle les environnements d’entraînement simulés devraient correspondre précisément aux conditions réelles d’exploitation, la recherche a montré qu’un entraînement dans un environnement complètement différent et plus prévisible peut conduire à de meilleurs résultats.
« Si nous apprenons à jouer au tennis en intérieur où il n’y a pas de bruit, nous pouvons plus facilement maîtriser différents coups. Puis, en passant à un environnement plus bruyant, comme un court venteux, nous pourrions avoir une meilleure chance de bien jouer que si nous avions commencé l’entraînement dans des conditions venteuses », explique Serena Bono, chercheuse au MIT Media Lab et auteure principale de l’étude.
Pour tester leur théorie, les chercheurs ont utilisé des jeux Atari modifiés pour inclure un élément d’imprévisibilité. En particulier, ils ont expérimenté avec Pac-Man, modifiant les probabilités de mouvement des fantômes. Les résultats ont été inattendus : un agent d’IA entraîné dans une version sans bruit du jeu a montré de meilleurs résultats dans un environnement « bruyant » qu’un agent entraîné avec des interférences.
Cette découverte est particulièrement importante pour le développement de la robotique domestique. Traditionnellement, on pensait qu’un robot entraîné à effectuer des tâches ménagères en usine pourrait travailler inefficacement dans la cuisine d’un utilisateur en raison des différences environnementales. La nouvelle recherche offre une approche fondamentalement différente pour résoudre ce problème.
« C’est une perspective complètement nouvelle sur le problème. Au lieu d’essayer de rendre l’environnement d’entraînement aussi similaire que possible à l’environnement de test, nous pouvons créer des environnements simulés où l’agent d’IA apprend encore mieux », note le co-auteur de l’étude Spandan Madan, doctorant à l’Université Harvard.
