RefineNet Léger pour la Segmentation Sémantique en Temps Réel

Nous considérons la tâche importante de la segmentation sémantique d'images efficace et performante. En particulier, nous adaptons une architecture puissante de segmentation sémantique, appelée RefineNet, en une version plus compacte, appropriée même pour des tâches nécessitant des performances en temps réel sur des entrées à haute résolution. À cette fin, nous identifions les blocs coûteux en termes de calcul dans la configuration originale et proposons deux modifications visant à réduire le nombre de paramètres et d'opérations en virgule flottante. Grâce à ces modifications, nous parvenons à une réduction du modèle supérieure au double tout en maintenant presque intactes les performances. Notre modèle le plus rapide bénéficie d'un accroissement significatif de vitesse, passant de 20 images par seconde (FPS) à 55 FPS sur une carte graphique générique pour des entrées de 512x512 pixels, avec une performance solide de 81,1 % d'intersection sur union (IoU) moyenne sur l'ensemble de test de PASCAL VOC. Quant à notre modèle le moins rapide, il passe de 17 FPS à 32 FPS et affiche un IoU moyen de 82,7 % sur le même ensemble de données. De manière alternative, nous démontrons que notre approche est facilement combinable avec des réseaux de classification légers : nous obtenons un IoU moyen de 79,2 % sur PASCAL VOC en utilisant un modèle qui ne contient que 3,3 millions de paramètres et effectue seulement 9,3 milliards d'opérations en virgule flottante.