Verbundene Patch-Elemente für Few-shot-Lernen

Das Problem der schwachen Merkmalsrepräsentation hat seit langem die Leistungsfähigkeit von Few-Shot-Klassifikationsaufgaben beeinträchtigt. Um dieses Problem zu mildern, haben jüngere Forscher Verbindungen zwischen Support- und Query-Instanzen durch Einbettung von Patch-Merkmalsinformationen hergestellt, um differenzierende Darstellungen zu generieren. Wir beobachten jedoch, dass zwischen diesen lokalen Patches semantische Inkonsistenzen (Vordergrund/Hintergrund) bestehen, da die Position und Größe des Zielobjekts nicht festgelegt ist. Schlimmer noch: Diese Inkonsistenzen führen zu unzuverlässigen Ähnlichkeitswahrscheinlichkeiten, und die komplexen dichten Verbindungen verschärfen das Problem zusätzlich. Dementsprechend schlagen wir eine neue Clustered-patch Element Connection (CEC)-Schicht vor, um dieses Missverhältnis zu korrigieren. Die CEC-Schicht nutzt Operationen zur Patch-Clusterbildung und Element-Verbindung, um zuverlässige Verbindungen mit hochäähnlichen Patch-Merkmalsinformationen zu erzeugen. Darüber hinaus präsentieren wir ein CECNet, das eine auf der CEC-Schicht basierende Aufmerksamkeitsmodul und eine Distanzmetrik beinhaltet. Das erste dient zur Generierung differenzierterer Darstellungen unter Ausnutzung globaler, patch-geclustertet Merkmale, während die zweite zur zuverlässigen Messung der Ähnlichkeit zwischen Paar-Features eingesetzt wird. Umfangreiche Experimente zeigen, dass unser CECNet die bisher besten Methoden auf Standard-Klassifikationsbenchmarks übertrifft. Zudem lässt sich unser CEC-Ansatz problemlos auf Few-Shot-Segmentierung und Few-Shot-Detektion erweitern, wobei er konkurrenzfähige Ergebnisse erzielt.