Segmentation sémantique et détection de contours conjointes utilisant des contextes piramidaux itératifs

Dans cet article, nous proposons un cadre d'apprentissage multi-tâches conjoint pour la segmentation sémantique et la détection de contours. Le composant central de ce cadre est le module itératif de contexte pyramidal (PCM), qui relie les deux tâches et stocke les sémantiques latentes partagées afin de permettre une interaction efficace entre elles. Pour la détection de contours sémantiques, nous introduisons une nouvelle méthode de fusion des gradients spatiaux visant à supprimer les contours non sémantiques. Étant donné que la détection de contours sémantiques est la tâche duale de la segmentation sémantique, nous proposons une fonction de perte incluant une contrainte de cohérence des contours afin d’améliorer la précision des pixels aux frontières dans la segmentation sémantique. Nos expériences étendues démontrent une performance supérieure par rapport aux méthodes les plus avancées, tant pour la segmentation sémantique que pour la détection de contours sémantiques. En particulier, un score moyen d’IoU de 81,8 % est atteint sur le jeu de test Cityscapes sans recourir à des données brutes ou à des données externes pour la segmentation sémantique. Pour la détection de contours sémantiques, nous surpassons les méthodes précédemment les plus performantes de 9,9 % en termes d’AP et de 6,8 % en termes de MF(ODS).