BaseTransformers: Aufmerksamkeit über Basis-Datenelemente für One-Shot-Lernen

Few-shot-Klassifikation zielt darauf ab, neue Kategorien zu erkennen, indem nur wenige Proben pro Kategorie zur Verfügung stehen. Die meisten aktuellen Few-shot-Methoden nutzen eine Basisdatenmenge, die reich an beschrifteten Beispielen ist, um einen Encoder zu trainieren, der zur Gewinnung von Repräsentationen der Support-Instanzen für neue Klassen herangezogen wird. Da die Testinstanzen einer Verteilung entstammen, die sich von der Basisverteilung unterscheidet, sind ihre Merkmalsrepräsentationen von schlechter Qualität, was die Leistung beeinträchtigt. In diesem Paper schlagen wir vor, die gut trainierten Merkmalsrepräsentationen der Basisdatenmenge zu nutzen, die am nächsten an einer gegebenen Support-Instanz liegen, um deren Repräsentation während der Meta-Testphase zu verbessern. Dazu präsentieren wir BaseTransformers, das auf die relevantesten Regionen des Merkmalsraums der Basisdatenmenge abzielt und die Repräsentationen der Support-Instanzen verbessert. Experimente an drei Benchmark-Datensätzen zeigen, dass unsere Methode für mehrere Backbones gut funktioniert und in der induktiven One-shot-Situation state-of-the-art-Ergebnisse erzielt. Der Quellcode ist unter github.com/mayug/BaseTransformers verfügbar.