Matting de portraits préservant la vie privée

Récemment, une préoccupation croissante s’est manifestée concernant les enjeux de confidentialité liés à l’utilisation d’informations personnellement identifiables dans les modèles d’apprentissage automatique. Toutefois, les méthodes précédentes de matting de portraits étaient toutes fondées sur des images de portraits identifiables. Pour combler cette lacune, nous présentons dans cet article P3M-10k, le premier grand ensemble de données anonymisées dédié au matting de portraits préservant la vie privée. P3M-10k comprend 10 000 images de portraits haute résolution aux visages floutés, accompagnées de masques alpha de haute qualité. Nous évaluons systématiquement à la fois les méthodes de matting sans trimap et celles basées sur un trimap sur P3M-10k, et constatons que les méthodes existantes présentent des capacités de généralisation différentes dans le cadre d’un entraînement préservant la vie privée (PPT), c’est-à-dire l’entraînement sur des images à visages floutés et le test sur des images arbitraires. Afin de concevoir un modèle de matting de portrait sans trimap plus performant, nous proposons P3M-Net, qui exploite la puissance d’un cadre unifié pour la perception sémantique et le matting détaillé, en mettant particulièrement l’accent sur l’interaction entre ces deux composantes et le module encodeur, afin d’améliorer le processus de matting. Des expériences étendues sur P3M-10k démontrent que P3M-Net surpasser les méthodes de pointe tant sur les métriques objectives que sur la qualité visuelle subjective. En outre, il présente une bonne capacité de généralisation dans le cadre PPT, confirmant ainsi la valeur de P3M-10k pour stimuler la recherche future et permettre des applications potentielles dans le monde réel. Le code source et le jeu de données sont disponibles à l’adresse suivante : https://github.com/JizhiziLi/P3M