HS3 : Apprentissage avec une complexité de tâche appropriée dans la segmentation sémantique supervisée hiérarchique

Bien que les réseaux fortement supervisés soient courants dans la littérature récente, ils imposent généralement la même objectif d’apprentissage à toutes les couches intermédiaires, indépendamment de leurs capacités de représentation variables. Dans cet article, nous proposons une méthode baptisée HS3 (Hierarchically Supervised Semantic Segmentation), un schéma d’entraînement qui supervise les couches intermédiaires d’un réseau de segmentation afin qu’elles apprennent des représentations significatives en variant la complexité des tâches. Pour assurer un compromis cohérent entre performance et complexité tout au long du réseau, nous définissons différentes configurations de regroupements de classes afin de superviser chaque couche intermédiaire. En outre, nous proposons un cadre de fusion, nommé HS3-Fuse, qui agrège les caractéristiques hiérarchiques générées par ces couches, offrant ainsi des contextes sémantiques riches et améliorant davantage la segmentation finale. Des expériences étendues montrent que notre approche HS3 surpasse significativement la supervision profonde classique, sans aucun coût supplémentaire en phase d’inférence. Le cadre HS3-Fuse proposé améliore encore davantage les prédictions de segmentation et atteint des résultats de pointe sur deux grands benchmarks de segmentation : NYUD-v2 et Cityscapes.