Apprentissage multi-tâches déconnecté avec régulation auto-cyclique pour la segmentation faciale

Ce papier analyse les facteurs intrinsèques à l'origine des cas typiques d'échec (par exemple, incohérence spatiale et confusion aux frontières) observés avec les méthodes de pointe actuelles en segmentation faciale. Pour résoudre ces problèmes, nous proposons une nouvelle approche, le DML-CSR (Decoupled Multi-task Learning with Cyclical Self-Regulation), spécifiquement conçue pour la segmentation faciale. Plus précisément, DML-CSR met en œuvre un modèle multi-tâches composé de trois tâches : segmentation faciale, détection de contours binaires et détection de contours catégoriels. Ces tâches partagent uniquement les poids du module d’encodeur de bas niveau, sans interaction au niveau supérieur, permettant ainsi de désaccoupler les modules auxiliaires du réseau entier lors de l’étape d’inférence. Pour atténuer l’incohérence spatiale, nous introduisons un réseau convolutif à graphes dynamiques dual afin de capturer des informations contextuelles globales sans recourir à aucune opération de pooling supplémentaire. Pour traiter la confusion aux frontières dans les scénarios à une ou plusieurs visages, nous exploitons conjointement la détection de contours binaires et catégoriels afin d’obtenir à la fois une structure géométrique générale et des indices sémantiques fins des visages humains. En outre, afin de prévenir la dégradation de la généralisation du modèle causée par des étiquettes bruitées pendant l’entraînement, nous proposons une régulation auto-itérative cyclique : plusieurs instances de modèle sont auto-enssemblées pour former un nouveau modèle, qui est ensuite utilisé pour auto-distiller les modèles suivants, au travers d’itérations alternées. Les expérimentations montrent que notre méthode atteint un nouveau record de performance sur les jeux de données Helen, CelebAMask-HQ et Lapa. Le code source est disponible à l’adresse suivante : https://github.com/deepinsight/insightface/tree/master/parsing/dml_csr.