Représentations à haute résolution pour l'étiquetage des pixels et des régions

L'apprentissage de représentations à haute résolution joue un rôle essentiel dans de nombreux problèmes de vision, tels que l'estimation de la posture et la segmentation sémantique. Le réseau à haute résolution (HRNet)~\cite{SunXLW19}, récemment développé pour l'estimation de la posture humaine, maintient des représentations à haute résolution tout au long du processus en connectant les convolutions de haute à basse résolution en \emph{parallèle} et produit des représentations à haute résolution robustes en effectuant répétitivement des fusions entre les convolutions parallèles.Dans cet article, nous menons une étude approfondie sur les représentations à haute résolution en introduisant une modification simple mais efficace et en l'appliquant à une large gamme de tâches de vision. Nous enrichissons la représentation à haute résolution en agrégant les représentations (redimensionnées) provenant de toutes les convolutions parallèles, plutôt que seulement celle issue de la convolution à haute résolution comme c'était le cas dans~\cite{SunXLW19}. Cette modification simple conduit à des représentations plus puissantes, ce qui est démontré par des résultats supérieurs. Nous présentons des résultats excellents en segmentation sémantique sur Cityscapes, LIP et PASCAL Context, ainsi qu'en détection de points clés faciaux sur AFLW, COFW, 300W et WFLW. De plus, nous construisons une représentation multiréseau à partir de la représentation à haute résolution et l'appliquons au cadre de détection d'objets Faster R-CNN et aux cadres étendus. L'approche proposée obtient des résultats supérieurs aux réseaux mono-modèle existants pour la détection d'objets COCO. Le code source et les modèles sont disponibles publiquement sur \url{https://github.com/HRNet}.