Meta-gelerntes Vertrauen für Few-shot-Lernen

Transduktive Inferenz ist eine effektive Methode zur Bewältigung des Datenschwundproblems in Few-Shot-Lernumgebungen. Eine gängige transduktive Inferenztechnik für Few-Shot-Metrik-basierte Ansätze besteht darin, den Prototyp jeder Klasse mittels des Mittelwerts der zuverlässigsten Abfragbeispiele oder eines vertrauensgewichteten Durchschnitts aller Abfragproben zu aktualisieren. Ein Problem hierbei ist jedoch, dass das Modellvertrauen unzuverlässig sein kann, was zu falschen Vorhersagen führen kann. Um dieses Problem anzugehen, schlagen wir vor, das Vertrauen für jedes Abfragbeispiel meta- zu lernen, um optimale Gewichte für unlabeled Abfragbeispiele zuzuweisen, sodass die Leistung der transduktiven Inferenz des Modells auf unbekannte Aufgaben verbessert wird. Dies erreichen wir durch die Meta-Lernung einer eingabeanpassungsfähigen Distanzmetrik über eine Aufgabeverteilung unter verschiedenen Modell- und Datenaufstörungen, wodurch Konsistenz der Modellvorhersagen unter unterschiedlichen Unsicherheiten für unbekannte Aufgaben gefördert wird. Darüber hinaus schlagen wir zusätzlich eine Regularisierung vor, die explizit die Konsistenz der Vorhersagen über die verschiedenen Dimensionen eines hochdimensionalen Embedding-Vektors erzwingt. Wir validieren unser Few-Shot-Lernmodell mit meta-gelerntem Vertrauen anhand vier Benchmark-Datensätze, auf denen es starke jüngere Baselines deutlich übertrifft und neue SOTA-Ergebnisse erzielt. Eine weitere Anwendung auf semi-supervised Few-Shot-Lernaufgaben führt ebenfalls zu signifikanten Leistungsverbesserungen gegenüber den Baselines. Der Quellcode unseres Algorithmus ist unter https://github.com/seongmin-kye/MCT verfügbar.