CARAFE : Reconstitution de Caractéristiques Consciente du Contenu

L'upsampling des caractéristiques est une opération clé dans de nombreuses architectures de réseaux convolutifs modernes, par exemple les pyramides de caractéristiques. Son design est crucial pour les tâches de prédiction dense telles que la détection d'objets et la segmentation sémantique/instancielle. Dans ce travail, nous proposons le Content-Aware ReAssembly of FEatures (CARAFE), un opérateur universel, léger et très efficace pour atteindre cet objectif.CARAFE présente plusieurs propriétés attractives : (1) Grand champ de vision. Contrairement aux travaux précédents (par exemple l'interpolation bilinéaire) qui n'exploitent que le voisinage sous-pixel, CARAFE peut agrégater des informations contextuelles au sein d'un grand champ récepteur. (2) Traitement sensible au contenu. Au lieu d'utiliser un noyau fixe pour tous les échantillons (par exemple la déconvolution), CARAFE permet un traitement sensible au contenu spécifique à chaque instance, générant des noyaux adaptatifs en temps réel. (3) Léger et rapide à calculer. CARAFE introduit peu de surcoût computationnel et peut être facilement intégré dans les architectures de réseaux modernes.Nous menons des évaluations exhaustives sur des benchmarks standards en détection d'objets, segmentation instancielle/sémantique et inpainting. CARAFE montre des gains constants et substantiels dans toutes les tâches (respectivement 1,2 %, 1,3 %, 1,8 % et 1,1 dB) avec un surcoût computationnel négligeable. Il a un grand potentiel pour servir de bloc de construction solide pour les futures recherches. Le code source et les modèles sont disponibles à l'adresse suivante : https://github.com/open-mmlab/mmdetection.