BiSeNet : Réseau de segmentation bilatéral pour la segmentation sémantique en temps réel

La segmentation sémantique nécessite à la fois des informations spatiales riches et un champ récepteur important. Cependant, les approches modernes sacrifient généralement la résolution spatiale pour atteindre une vitesse d'inférence en temps réel, ce qui entraîne de mauvaises performances. Dans cet article, nous abordons ce dilemme grâce à un nouveau réseau de segmentation bilatéral (Bilateral Segmentation Network, BiSeNet). Nous concevons d'abord un chemin spatial (Spatial Path) avec un petit pas de décalage pour préserver les informations spatiales et générer des caractéristiques haute résolution. Parallèlement, un chemin contextuel (Context Path) utilisant une stratégie de sous-échantillonnage rapide est employé pour obtenir un champ récepteur suffisant. Au-dessus de ces deux chemins, nous introduisons un nouveau module de fusion de caractéristiques (Feature Fusion Module) pour combiner efficacement les caractéristiques. L'architecture proposée établit un bon équilibre entre la vitesse et les performances de segmentation sur les jeux de données Cityscapes, CamVid et COCO-Stuff. Plus précisément, pour une entrée de 2048x1024 pixels, nous obtenons 68,4 % de Mean IOU sur le jeu de données de test Cityscapes avec une vitesse de 105 images par seconde (FPS) sur une carte NVIDIA Titan XP, ce qui est nettement plus rapide que les méthodes existantes offrant des performances comparables.