UniParser : Analyse multi-personnes avec une représentation unifiée de corrélation

Le parsing multi-personnes est une tâche de segmentation d'images nécessitant à la fois des informations au niveau des instances et des informations catégorielles détaillées. Cependant, les recherches antérieures ont généralement traité ces deux types d'informations par le biais de branches séparées et de formats de sortie distincts, conduisant à des cadres inefficaces et redondants. Cet article présente UniParser, qui intègre les représentations au niveau des instances et au niveau catégoriel sous trois aspects clés : 1) nous proposons une approche unifiée d'apprentissage de représentations corrélées, permettant à notre réseau d'apprendre les caractéristiques d'instances et de catégories dans l'espace cosinus ; 2) nous unifions la forme des sorties de chaque module en résultats de segmentation au niveau des pixels tout en supervisant les caractéristiques d'instances et de catégories à l'aide d'une étiquette homogène accompagnée d'une perte auxiliaire ; et 3) nous concevons une procédure d'optimisation conjointe pour fusionner les représentations d'instances et de catégories. Grâce à l'unification des sorties au niveau des instances et au niveau catégoriel, UniParser évite les techniques de post-traitement conçues manuellement et surpasse les méthodes actuelles, atteignant 49,3 % AP sur MHPv2.0 et 60,4 % AP sur CIHP. Nous mettrons à disposition notre code source, nos modèles pré-entraînés et nos démonstrations en ligne afin de faciliter les futures études.