Relationale Embedding für Few-Shot-Klassifikation

Wir schlagen vor, das Problem der Few-Shot-Klassifikation durch Meta-Lernen von „Was zu beobachten“ und „Wo zu achten“ aus einer relationalen Perspektive anzugehen. Unsere Methode nutzt relationale Muster innerhalb und zwischen Bildern mittels selbstkorrelativer Darstellung (Self-Correlational Representation, SCR) und cross-korrelativer Aufmerksamkeit (Cross-Correlational Attention, CCA). Innerhalb jedes Bildes transformiert das SCR-Modul eine Basis-Funktionenkarte in einen Selbstkorrelations-Tensor und lernt, strukturelle Muster aus diesem Tensor zu extrahieren. Zwischen den Bildern berechnet das CCA-Modul die Kreuzkorrelation zwischen zwei Bildrepräsentationen und lernt, eine gemeinsame Aufmerksamkeit zwischen ihnen zu erzeugen. Das von uns vorgestellte Relationale Einbettungsnetzwerk (Relational Embedding Network, RENet) kombiniert die beiden relationalen Module, um relationale Einbettungen auf end-to-end-Basis zu lernen. In experimentellen Evaluierungen zeigt RENet konsistente Verbesserungen gegenüber aktuellen State-of-the-Art-Methoden auf vier etablierten Few-Shot-Klassifikationsbenchmarks: miniImageNet, tieredImageNet, CUB-200-2011 und CIFAR-FS.