Intégration relationnelle pour la classification à faibles exemplaires

Nous proposons de résoudre le problème de la classification en peu d'exemples par apprentissage méta « quoi observer » et « où porter son attention » sous une perspective relationnelle. Notre méthode exploite les motifs relationnels à l’intérieur et entre les images grâce à une représentation auto-corrélée (SCR, self-correlational representation) et à une attention croisée-corrélée (CCA, cross-correlational attention). À l’intérieur de chaque image, le module SCR transforme une carte de caractéristiques de base en un tenseur d’auto-corrélation et apprend à extraire des motifs structurels à partir de ce tenseur. Entre les images, le module CCA calcule la corrélation croisée entre deux représentations d’images et apprend à générer une attention partagée entre elles. Notre Réseau d’Embedding Relationnel (RENet) combine les deux modules relationnels pour apprendre des embeddings relationnels de manière end-to-end. Dans les évaluations expérimentales, RENet obtient des améliorations constantes par rapport aux méthodes de pointe sur quatre benchmarks largement utilisés pour la classification en peu d’exemples : miniImageNet, tieredImageNet, CUB-200-2011 et CIFAR-FS.