Apprentissage dual à haute résolution pour la segmentation sémantique

Les méthodes actuelles de pointe en segmentation sémantique appliquent souvent des entrées à haute résolution afin d’obtenir de hautes performances, ce qui entraîne des coûts computationnels importants et limite leur déploiement sur des dispositifs à ressources limitées. Dans ce papier, nous proposons un cadre simple et flexible à deux flux, nommé apprentissage dual à super-résolution (Dual Super-Resolution Learning, DSRL), permettant d’améliorer efficacement la précision de segmentation sans introduire de coûts computationnels supplémentaires. Plus précisément, la méthode proposée se compose de trois composants : une super-résolution pour la segmentation sémantique (Semantic Segmentation Super-Resolution, SSSR), une super-résolution d’image unique (Single Image Super-Resolution, SISR) et un module d’affinité de caractéristiques (Feature Affinity, FA), qui permettent de préserver des représentations à haute résolution à partir d’entrées à basse résolution tout en réduisant simultanément la complexité computationnelle du modèle. En outre, cette approche peut être facilement généralisée à d’autres tâches, telles que l’estimation de posture humaine. Cette méthode simple mais efficace conduit à des représentations puissantes, comme le démontrent les résultats prometteurs obtenus sur les tâches de segmentation sémantique et d’estimation de posture humaine. Plus précisément, pour la segmentation sémantique sur CityScapes, nous atteignons un mIoU supérieur ou égal à 2 % avec des FLOPs similaires, tout en maintenant des performances avec seulement 70 % des FLOPs. Pour l’estimation de posture humaine, nous obtenons un mAP supérieur ou égal à 2 % avec les mêmes FLOPs, tout en conservant le mAP avec 30 % de FLOPs en moins. Le code et les modèles sont disponibles à l’adresse suivante : https://github.com/wanglixilinx/DSRL.