Réseau Index

Nous démontrons que les opérateurs d'échantillonnage ascendant existants peuvent être unifiés à l'aide de la notion de fonction d'indice. Cette notion est inspirée par une observation dans le processus de décodage du matting d'image profonde, où l'échantillonnage ascendant guidé par des indices peut souvent récupérer les détails des contours bien mieux que d'autres opérateurs d'échantillonnage ascendant tels que l'interpolation bilinéaire. En considérant les indices comme une fonction de la carte de caractéristiques, nous introduisons le concept de « apprentissage pour indexer » et présentons un nouveau cadre encodeur-décodeur guidé par des indices, où ces derniers sont appris de manière adaptative à partir des données et utilisés pour guider les étapes d'échantillonnage descendant et ascendant, sans supervision supplémentaire lors de l'entraînement. Au cœur de ce cadre se trouve un nouveau module apprenable, appelé Réseau d'Indices (IndexNet), qui génère dynamiquement des indices en fonction de la carte de caractéristiques elle-même. L'IndexNet peut être utilisé comme un module intégrable s'appliquant à presque tous les réseaux convolutifs standards dotés d'étapes d'échantillonnage descendant et ascendant couplées, conférant aux réseaux la capacité de capturer dynamiquement les variations des motifs locaux. Plus particulièrement, nous instancions et examinons cinq familles d'IndexNet et démontrons leur efficacité sur quatre tâches de prédiction dense, incluant le débruitage d'image, le matting d'image, la segmentation sémantique et l'estimation de profondeur monoculaire. Le code source et les modèles sont disponibles à l'adresse suivante : https://tinyurl.com/IndexNetV1