Analyse rapide et précise de scènes par réseaux de alignement bidirectionnels

Dans cet article, nous proposons une méthode efficace pour une segmentation rapide et précise de scènes, appelée Bidirectional Alignment Network (BiAlignNet). Précédemment, une approche représentative, BiSeNet~\cite{bisenet}, utilisait deux chemins distincts (le chemin contextuel et le chemin spatial) afin d'assurer un apprentissage équilibré entre les informations sémantiques et les détails. Toutefois, les relations entre ces deux chemins n'ont pas été suffisamment explorées. Nous affirmons que ces deux chemins peuvent se compléter mutuellement de manière bénéfique. Inspirés par cette idée, nous proposons un nouveau réseau qui aligne les informations des deux chemins l'une vers l'autre grâce à un champ de déplacement appris. Pour éviter le bruit et les écarts sémantiques, nous introduisons un module d’alignement de flux à porte (Gated Flow Alignment Module), permettant un alignement bidirectionnel des caractéristiques. En outre, afin de permettre au chemin spatial d’apprendre davantage d’informations détaillées, nous proposons une fonction de perte basée sur un mining de pixels difficiles guidé par les contours, afin de superviser le processus d’alignement. Notre méthode atteint un mIoU de 80,1 % et 78,5 % sur les ensembles de validation et de test de Cityscapes, tout en fonctionnant à 30 FPS avec des entrées à résolution complète. Le code source et les modèles seront disponibles à l’adresse \url{https://github.com/jojacola/BiAlignNet}.