Deforming Autoencoder: Unüberwachte Trennung von Form und Erscheinungsbild

In dieser Arbeit stellen wir Deforming Autoencoder vor, ein generatives Modell für Bilder, das Form und Erscheinungsbild in einem unüberwachten Verfahren entkoppelt. Wie im deformierbaren Vorlagenparadigma wird die Form als Deformation zwischen einem kanonischen Koordinatensystem („Vorlage“) und einem beobachteten Bild dargestellt, während das Erscheinungsbild in den „kanonischen“, vorgegebenen Koordinaten modelliert wird, wodurch die Variabilität aufgrund von Deformationen eliminiert wird. Wir führen neuartige Techniken ein, die es ermöglichen, diesen Ansatz im Kontext von Autoencodern umzusetzen, und zeigen, dass diese Methode für die unüberwachte Gruppenbilddatei-Ausrichtung verwendet werden kann. Wir präsentieren Experimente zur Mimik-Interpolation bei Menschen, Händen und Ziffern sowie zur Gesichtsmanipulation, wie zum Beispiel der Interpolation von Form und Erscheinungsbild, sowie zur unüberwachten Landmark-Lokalisierung. Eine stärker ausgeprägte Form des unüberwachten Entkopplens wird in den Vorlagenkoordinaten möglich, was uns ermöglicht, Gesichtsbilder erfolgreich in Beleuchtung und Albedo zu zerlegen und diese weiter zu manipulieren.