Ensemble Auto-Éfficace pour la Segmentations Sémantique

L’ensemble de prédictions est connu pour surpasser les prédictions individuelles effectuées séparément. Toutefois, pour des tâches exigeant des ressources computationnelles importantes, telles que la segmentation sémantique, la création d’un ensemble de modèles nécessitant une entraînement indépendant s’avère généralement peu praticable. Dans ce travail, nous proposons d’exploiter l’amélioration de performance offerte par les méthodes d’ensemble afin d’améliorer la segmentation sémantique, tout en évitant le coût d’entraînement élevé traditionnellement associé à ces approches. Notre méthode d’auto-ensemble tire parti des caractéristiques multi-échelles produites par les architectures à réseau de pyramide de caractéristiques (Feature Pyramid Networks) pour alimenter des décodeurs indépendants, créant ainsi un ensemble intégré dans un seul modèle. De manière similaire à un ensemble classique, la prédiction finale est obtenue par agrégation des prédictions issues de chaque décodeur. Contrairement aux approches antérieures, notre modèle peut être entraîné de manière end-to-end, éliminant ainsi le processus d’entraînement multi-étapes complexe habituel pour les ensembles. Notre approche d’auto-ensemble dépasse l’état de l’art actuel sur les jeux de données de référence Pascal Context et COCO-Stuff-10K pour la segmentation sémantique, tout en restant compétitive sur ADE20K et Cityscapes. Le code est disponible publiquement sur github.com/WalBouss/SenFormer.