Laplacian-Regularisierte Few-Shot-Learning

Wir schlagen eine transduktive, Laplace-reguläre Inferenz für Few-Shot-Aufgaben vor. Gegeben eine beliebige von den Basis-Klassen gelernte Merkmalsdarstellung minimieren wir eine quadratische binäre Zuweisungsfunktion, die zwei Terme enthält: (1) einen einstellige Term, der Abfragemuster den jeweils nächsten Klassenprototypen zuweist, und (2) einen paarweisen Laplace-Term, der nahe beieinander liegende Abfragemuster zu konsistenten Label-Zuweisungen ermutigt. Unsere transduktive Inferenz retrainiert das Basismodell nicht und kann als ein graphbasiertes Clustering der Abfragemuster unter Berücksichtigung von Supervisionsbeschränkungen aus dem Support-Satz interpretiert werden. Wir leiten einen recheneffizienten Grenzwert-Optimierer einer Relaxierung unserer Funktion ab, der unabhängige (parallele) Aktualisierungen für jedes Abfragemuster berechnet und gleichzeitig Konvergenz garantiert. Nach einer einfachen Cross-Entropy-Trainingsphase auf den Basis-Klassen und ohne komplizierte Meta-Learning-Strategien führten wir umfassende Experimente an fünf Few-Shot-Lern-Benchmarks durch. Unser Ansatz, LaplacianShot, übertrifft konsistent die derzeit besten Methoden bei signifikanten Abständen über verschiedene Modelle, Einstellungen und Datensätze hinweg. Darüber hinaus ist unsere transduktive Inferenz äußerst schnell und weist Rechenzeiten auf, die denen der induktiven Inferenz nahekommen, wodurch sie auch für große Few-Shot-Aufgaben geeignet ist.