Guidage multi-contexte basé sur l'attention pour la segmentation sémantique à faible exemplaire

L’apprentissage à très peu d’exemples (few-shot learning) est un domaine de recherche émergent, motivé par le fait que les méthodes traditionnelles d’apprentissage profond nécessitent des quantités énormes de données. La rareté des données annotées devient encore plus problématique dans le cadre de la segmentation sémantique, où l’annotation au niveau des pixels est particulièrement exigeante en termes de main-d’œuvre. Pour relever ce défi, nous proposons un réseau A-MCG (Attention-based Multi-Context Guiding), composé de trois branches : la branche de support, la branche de requête et la branche de fusion de caractéristiques. Un élément distinctif de A-MCG réside dans l’intégration des caractéristiques contextuelles à plusieurs échelles entre les branches de support et de requête, ce qui renforce une meilleure guidance issue de l’ensemble de support. Par ailleurs, nous introduisons une attention spatiale le long de la branche de fusion afin de mettre en évidence l’information contextuelle provenant de plusieurs échelles, améliorant ainsi l’autosurveillance dans le cadre de l’apprentissage à un exemple. Pour traiter le problème de fusion dans le cadre de l’apprentissage à plusieurs exemples, nous utilisons un Conv-LSTM afin d’intégrer de manière collaborative les caractéristiques séquentielles du support, ce qui permet d’augmenter la précision finale. Notre architecture atteint l’état de l’art sur les classes non vues dans une variante du jeu de données PASCAL VOC12, et se distingue favorablement par rapport aux méthodes antérieures, avec des gains significatifs de 1,1 % et 1,4 % mesurés en mIoU pour les configurations à un exemple (1-shot) et à cinq exemples (5-shot), respectivement.