Dichte interspezifische Gesichts-Embedding

Dense Interspecies Face Embedding (DIFE) stellt eine neue Herangehensweise zur Verständnis von Gesichtern verschiedener Tierarten dar, indem gemeinsame Merkmale zwischen Tiergesichtern – einschließlich menschlicher Gesichter – extrahiert werden. Es bestehen drei zentrale Herausforderungen für das Verständnis von Gesichtern über Arten hinweg: (1) der Mangel an Tierdaten im Vergleich zu menschlichen Daten, (2) die unscharfe Verbindung zwischen Gesichtern verschiedener Tierarten und (3) die extreme Variabilität in Form und Stil. Um den Mangel an Daten zu bewältigen, nutzen wir eine Multi-Teacher-Wissens-Distillation basierend auf CSE und StyleGAN2, die keiner zusätzlichen Daten oder Labels bedarf. Anschließend synthetisieren wir sogenannte Pseudopaar-Bilder durch die Exploration des Latentraums von StyleGAN2, um implizite Beziehungen zwischen den Gesichtern verschiedener Tierarten zu identifizieren. Schließlich führen wir eine semantische Matching-Verlustfunktion ein, um die Herausforderung extremer Formunterschiede zwischen Arten zu überwinden. Um unsere Methode quantitativ gegenüber bisherigen Ansätzen wie unsupervisiertem Keypoint-Detection zu bewerten, führen wir einen interspezifischen Keypoint-Transfer auf den Datensätzen MAFL und AP-10K durch. Darüber hinaus werden Ergebnisse für weitere Anwendungen wie interspezifische Gesichtsbildmanipulation und dichte Keypoint-Übertragung präsentiert. Der Quellcode ist unter https://github.com/kingsj0405/dife verfügbar.