SAPA : Affiliation de Points Consciente de la Similarité pour le Rééchantillonnage des Caractéristiques

Nous introduisons la notion d'affiliation de points dans l'upsampling des caractéristiques, qui décrit l'appartenance de chaque point upsampled à un cluster sémantique formé par des points de caractéristiques du décodeur local ayant une similarité sémantique. En repensant l'affiliation de points, nous présentons une formulation générique pour la génération de noyaux d'upsampling. Ces noyaux favorisent non seulement la régularité sémantique mais aussi la netteté des contours dans les cartes de caractéristiques upsampled. De telles propriétés sont particulièrement utiles pour certaines tâches de prédiction dense, comme la segmentation sémantique. L'idée clé de notre formulation est de générer des noyaux sensibles à la similarité en comparant la similarité entre chaque point de caractéristiques du encodeur et la région locale associée spatialement aux caractéristiques du décodeur. De cette manière, le point de caractéristiques du encodeur peut servir d'indice pour informer le cluster sémantique des points de caractéristiques upsampled. Pour concrétiser cette formulation, nous proposons un opérateur d'upsampling léger, appelé Affiliation de Points Sensible à la Similarité (SAPA), et nous examinons ses variantes. SAPA apporte des améliorations cohérentes des performances sur plusieurs tâches de prédiction dense, notamment la segmentation sémantique, la détection d'objets, l'estimation de profondeur et le matting d'images. Le code est disponible à l'adresse suivante : https://github.com/poppinace/sapa