Apprentissage de corrélation à valeurs quaternioniques pour la segmentation sémantique à peu de exemples
La segmentation à peu d'exemples (Few-shot segmentation, FSS) vise à segmenter des classes non vues à partir de seulement quelques échantillons annotés. Des progrès significatifs ont été réalisés dans ce domaine en exploitant les caractéristiques sémantiques apprises à partir des classes de base, riches en données d'entraînement, afin de représenter efficacement les classes nouvelles. Toutefois, les méthodes basées sur la corrélation peinent à modéliser les interactions entre les deux scores de correspondance de sous-espaces en raison de la nature intrinsèque des convolutions réelles 2D. Dans cet article, nous introduisons une perspective quaternionique pour l'apprentissage de la corrélation et proposons un nouveau réseau, le Quaternion-valued Correlation Learning Network (QCLNet), visant à réduire la charge computationnelle liée au tenseur de corrélation haute dimension et à explorer les interactions latentes internes entre les images de requête et les images de support grâce aux opérations définies par l'algèbre quaternionique établie. Plus précisément, notre QCLNet est formulé comme un réseau à valeurs hyper-complexes et représente les tenseurs de corrélation dans le domaine quaternionique. Il utilise une convolution à valeurs quaternioniques pour explorer les relations externes du sous-espace de requête tout en tenant compte des relations cachées au sein de la sous-dimension de support dans l'espace quaternionique. Des expériences étendues sur les jeux de données PASCAL-5i et COCO-20i démontrent que notre méthode surpasse efficacement les méthodes d'état de l'art existantes. Le code source est disponible à l'adresse suivante : https://github.com/zwzheng98/QCLNet. L'article intitulé « Quaternion-valued Correlation Learning for Few-Shot Semantic Segmentation » a été publié dans IEEE Transactions on Circuits and Systems for Video Technology, vol. 33, no. 5, pp. 2102–2115, mai 2023, DOI : 10.1109/TCSVT.2022.3223150.