Découverte non supervisée de repères d'objets comme représentations structurelles

Les réseaux neuronaux profonds peuvent modéliser des images avec des représentations latentes riches, mais ils ne peuvent pas naturellement conceptualiser les structures des catégories d'objets de manière perceptible par l'homme. Cet article aborde le problème d'apprentissage des structures d'objets dans un processus de modélisation d'images sans supervision. Nous proposons une formulation d'auto-encodage pour découvrir des points caractéristiques (landmarks) en tant que représentations structurelles explicites. Le module d'encodage génère les coordonnées des points caractéristiques, dont la validité est garantie par des contraintes reflétant les propriétés nécessaires pour ces points. Le module de décodage utilise ces points comme partie des représentations d'entrée apprises au sein d'un cadre différentiable end-to-end. Nos points caractéristiques découverts sont sémantiquement significatifs et plus prédictifs des points caractéristiques annotés manuellement que ceux découverts par les méthodes précédentes. Les coordonnées de nos points caractéristiques constituent également des caractéristiques complémentaires aux représentations préapprises de réseaux neuronaux profonds pour reconnaître les attributs visuels. De plus, la méthode proposée crée naturellement une interface non supervisée et perceptible permettant de manipuler les formes d'objets et de décoder des images avec des structures contrôlables. La page web du projet se trouve à http://ytzhang.net/projects/lmdis-rep