Apprentissage contrastif de représentations généralisées de jeux

Représenter les jeux à l’aide de leurs pixels constitue une approche prometteuse pour construire des modèles de jeux universels et polyvalents. Bien que les jeux ne soient pas simplement des images, les modèles à base de réseaux de neurones entraînés sur des pixels de jeux captent souvent les différences de style visuel plutôt que le contenu réel du jeu. En conséquence, ces modèles peinent à généraliser même entre jeux similaires du même genre. Dans cet article, nous nous appuyons sur les avancées récentes en apprentissage contrastif et mettons en évidence ses bénéfices pour l’apprentissage de représentations dans les jeux vidéo. Apprendre à contraster des images de jeux permet non seulement de classifier ces derniers de manière plus efficace, mais aussi de produire des modèles capables de les séparer de manière plus significative, en ignorant le style visuel au profit de leur contenu. Nos résultats obtenus sur un grand jeu de données de jeux vidéo sportifs comprenant 100 000 images issues de 175 jeux répartis sur 10 genres suggèrent que l’apprentissage contrastif est plus adapté à l’apprentissage de représentations généralisées de jeux que l’apprentissage supervisé classique. Ces découvertes nous rapprochent d’encodeurs visuels universels pour les jeux, pouvant être réutilisés sur des jeux auparavant inconnus sans nécessiter de re-entraînement ni de fine-tuning.