Autoencodeurs Déformables : Désentrelacement Non Supervisé de la Forme et de l'Apparence

Dans cette étude, nous présentons les Deforming Autoencoders, un modèle génératif pour les images qui dissocie la forme de l'apparence de manière non supervisée. Comme dans le paradigme des modèles déformables, la forme est représentée par une déformation entre un système de coordonnées canonique (« modèle ») et une image observée, tandis que l'apparence est modélisée dans les coordonnées « canoniques », du modèle, ce qui permet d'éliminer la variabilité due aux déformations. Nous introduisons de nouvelles techniques permettant d'appliquer cette approche dans le cadre des autoencodeurs et montrons que cette méthode peut être utilisée pour l'alignement non supervisé d'images en groupe. Nous présentons des expériences sur le morphing d'expressions chez les humains, les mains et les chiffres, ainsi que sur la manipulation faciale, comme l'interpolation de forme et d'apparence, et la localisation non supervisée de points caractéristiques. Une forme plus puissante de dissociation non supervisée devient possible dans les coordonnées du modèle, ce qui nous permet de décomposer avec succès les images faciales en ombrage et albedo, et de manipuler davantage les images faciales.