Connexion d'éléments en patchs regroupés pour l'apprentissage peu supervisé

Le problème de représentation faible des caractéristiques a longtemps affecté les performances de la classification à peu de exemples. Pour atténuer ce problème, les chercheurs récents ont établi des connexions entre les instances de support et celles de requête en intégrant des caractéristiques d’emplacements (patch) d’embedding afin de générer des représentations discriminatives. Toutefois, nous observons qu’il existe des incohérences sémantiques (objet principal/arrière-plan) parmi ces patches locaux, en raison de la variation de la position et de la taille de l’objet cible. Ce défaut s’aggrave encore davantage, car ces incohérences entraînent des confiances de similarité peu fiables, et les connexions denses complexes exacerbent le problème. À cet égard, nous proposons une nouvelle couche dite Clustered-patch Element Connection (CEC), conçue pour corriger ces incohérences. La couche CEC exploite deux opérations : le regroupement de patches (Patch Cluster) pour identifier des patches ayant une similarité élevée, et la connexion élémentaire (Element Connection) pour établir des connexions fiables entre ces patches. En outre, nous proposons CECNet, un modèle comprenant un module d’attention basé sur la couche CEC et une métrique de distance. Le premier module permet de générer des représentations plus discriminatives grâce à l’information globale issue des patches regroupés, tandis que la seconde est introduite pour mesurer de manière fiable la similarité entre paires de caractéristiques. Des expérimentations étendues démontrent que notre CECNet surpasser les méthodes de pointe sur des benchmarks de classification. En outre, notre approche CEC peut être étendue à des tâches de segmentation et de détection à peu de exemples, où elle atteint des performances compétitives.