Intégration dense de représentations faciales interspécifiques

Le Dense Interspecies Face Embedding (DIFE) représente une nouvelle approche pour comprendre les visages de diverses espèces animales en extrayant des caractéristiques communes parmi les visages animaux, y compris le visage humain. Trois obstacles majeurs entravent la compréhension interespèce des visages : (1) le manque de données animales par rapport aux données humaines, (2) l’absence de liens clairs entre les visages des différentes espèces, et (3) les variations extrêmes de forme et de style. Pour surmonter le déficit de données, nous utilisons une distillation de connaissances multi-enseignants basée sur CSE et StyleGAN2, méthode ne nécessitant ni données supplémentaires ni étiquetages. Ensuite, nous synthétisons des paires d’images pseudo-étiquetées grâce à une exploration de l’espace latent de StyleGAN2 afin d’identifier des associations implicites entre les visages d’espèces différentes. Enfin, nous introduisons une perte de correspondance sémantique pour atténuer le problème des différences extrêmes de forme entre espèces. Pour évaluer quantitativement notre méthode par rapport à des approches antérieures telles que la détection non supervisée de points clés, nous réalisons un transfert de points clés interespèce sur les jeux de données MAFL et AP-10K. Par ailleurs, nous présentons les résultats obtenus dans d’autres applications, notamment la manipulation d’images de visages interespèce et le transfert dense de points clés. Le code source est disponible à l’adresse suivante : https://github.com/kingsj0405/dife.