Universelle Repräsentationslernen aus mehreren Domänen für Few-shot-Klassifikation

In diesem Artikel betrachten wir das Problem der Few-Shot-Klassifikation, das darauf abzielt, einen Klassifikator für bisher unbekannte Klassen und Domänen aus wenigen gelabelten Beispielen zu lernen. Moderne Methoden verwenden Anpassungsnetzwerke, um ihre Merkmale an neue Domänen anzupassen, oder wählen relevante Merkmale aus mehreren domänenspezifischen Merkmalsextraktoren aus. In dieser Arbeit schlagen wir vor, eine einzelne Menge universeller tiefer Darstellungen zu lernen, indem wir das Wissen mehrerer separat trainierter Netzwerke durch Knowledge Distillation nach einer gemeinsamen Ausrichtung ihrer Merkmale mittels Adapter und zentrierter Kernel-Ausrichtung (centered kernel alignment) verdichten. Wir zeigen, dass die universellen Darstellungen durch einen effizienten Anpassungsschritt – im Geiste von Distanz-Lernmethoden – für bisher unbekannte Domänen weiter verfeinert werden können. Wir evaluieren unser Modell rigoros im aktuellen Meta-Dataset-Benchmark und demonstrieren, dass es die vorherigen Ansätze erheblich übertrifft, während es gleichzeitig effizienter ist. Unser Code wird unter https://github.com/VICO-UoE/URL verfügbar sein.