Unüberwachtes Lernen von Objektlandmarken durch bedingte Bildgenerierung

Wir schlagen eine Methode vor, um Landmark-Detektoren für visuelle Objekte (wie zum Beispiel die Augen und die Nase im Gesicht) ohne manuelle Überwachung zu trainieren. Dieses Problem wird als die Generierung von Bildern formuliert, bei denen das Aussehen des Objekts aus einem ersten Beispielsbild mit der Geometrie des Objekts aus einem zweiten Beispielsbild kombiniert wird, wobei die beiden Beispiele durch eine Veränderung der Betrachtungsrichtung und/oder eine Deformation des Objekts voneinander abweichen. Um das Aussehen und die Geometrie zu faktorisieren, führen wir eine enge Flaschenhalsstelle im Geometriextraktionsprozess ein, die geometriebezogene Merkmale selektiert und verdichtet. Im Vergleich zu standardmäßigen Bildgenerierungsproblemen, bei denen häufig generative adversarische Netze verwendet werden, ist unsere Generierungsaufgabe sowohl auf das Aussehen als auch auf die Geometrie konditioniert und damit erheblich weniger ambivalent, so dass ein einfaches perceptuelles Verlustfunktionskonzept ausreicht. Wir zeigen, dass unser Ansatz in der Lage ist, Objektlandmarks aus synthetischen Bilddeformationen oder Videos zu lernen, alles ohne manuelle Überwachung, während er dabei den Stand der Technik in unsupervisierten Landmark-Detektoren übertrifft. Darüber hinaus demonstrieren wir, dass unsere Methode auf eine große Vielfalt von Datensätzen – Gesichter, Personen, 3D-Objekte und Ziffern – ohne jede Modifikation anwendbar ist.