HyperAIHyperAI
il y a 2 mois

Apprentissage semi-supervisé adversarial pour générer des images de visages photoréalistes de nouvelles identités à partir d'un modèle morphable 3D

Baris Gecer; Binod Bhattarai; Josef Kittler; Tae-Kyun Kim
Apprentissage semi-supervisé adversarial pour générer des images de visages photoréalistes de nouvelles identités à partir d'un modèle morphable 3D
Résumé

Nous proposons une nouvelle approche de génération d'images faciales photoréalistes pour de nouvelles identités, couvrant une large gamme d'expressions, de poses et d'éclairages, conditionnée par un modèle morphable 3D (3DMM). Les méthodes précédentes de transfert de style adversarial supervisent leurs réseaux soit avec un grand volume de données appariées, soit utilisent des données non appariées dans un cadre génératif bidirectionnel très peu contraint et non supervisé. Nous introduisons une supervision adversariale appariée pour contraindre l'adaptation bidirectionnelle de domaine à l'aide d'un petit nombre d'images réelles et synthétiques appariées lors de la formation, en association avec un grand volume de données non appariées. De nombreux expériences qualitatives et quantitatives ont été réalisées pour valider notre concept. Les images faciales générées pour de nouvelles identités présentent une diversité en termes de pose, d'éclairage et d'expression, et les résultats qualitatifs montrent qu'elles sont fortement contraintes par l'image synthétique d'entrée tout en ajoutant du photoréalisme et en conservant les informations d'identité. Nous combinons les images faciales générées par notre méthode avec des ensembles de données réels pour former des algorithmes de reconnaissance faciale. Le modèle a été évalué sur deux ensembles de données difficiles : LFW (Labeled Faces in the Wild) et IJB-A (IARPA Janus Benchmark A). Nous constatons que les images générées par notre cadre améliorent constamment les performances du réseau profond de reconnaissance faciale formé avec le jeu de données Oxford VGG Face, atteignant des résultats comparables à ceux des meilleures techniques actuelles.

Apprentissage semi-supervisé adversarial pour générer des images de visages photoréalistes de nouvelles identités à partir d'un modèle morphable 3D | Articles de recherche récents | HyperAI