Klassenbewusste Anpassung der Patch-Einbettung für Few-Shot-Bildklassifikation

„Ein Bild sagt mehr als tausend Worte“, und dies geht weit über eine einfache Klassifizierung hinaus. Begleitend dazu können viele Bildpatches im Wesentlichen keine relevante Bedeutung für die Klassifizierung aufweisen, wenn sie unabhängig voneinander betrachtet werden. Dies kann die Effizienz einer großen Gruppe von Few-Shot-Lernalgorithmen erheblich beeinträchtigen, die über begrenzte Daten verfügen und stark auf den Vergleich von Bildpatches angewiesen sind. Um dieses Problem anzugehen, schlagen wir eine Methode namens Class-aware Patch Embedding Adaptation (CPEA) vor, um „klassenbewusste Embeddings“ der Bildpatches zu lernen. Der zentrale Ansatz von CPEA besteht darin, Patch-Embeddings mit klassenbewussten Embeddings zu integrieren, um deren Relevanz für die jeweilige Klasse zu erhöhen. Darüber hinaus definieren wir eine dichte Score-Matrix zwischen klassenrelevanten Patch-Embeddings über verschiedene Bilder hinweg, basierend auf der die Ähnlichkeit zwischen Paaren von Bildern quantifiziert wird. Visuelle Ergebnisse zeigen, dass CPEA die Patch-Embeddings nach Klasse konzentriert und somit deren Klassenzugehörigkeit stärkt. Umfangreiche Experimente auf vier Standard-Datensätzen – miniImageNet, tieredImageNet, CIFAR-FS und FC-100 – belegen, dass unsere CPEA die bestehenden State-of-the-Art-Methoden deutlich übertrifft. Der Quellcode ist unter https://github.com/FushengHao/CPEA verfügbar.