Command Palette
Search for a command to run...
Laplacian-regularisierter Few-Shot-Learning
Laplacian-regularisierter Few-Shot-Learning
Imtiaz Masud Ziko Jose Dolz Eric Granger Ismail Ben Ayed
Zusammenfassung
Wir schlagen eine transduktive, Laplace-reguläre Inferenz für Few-Shot-Aufgaben vor. Gegeben eine beliebige aus den Basisklassen gelernte Merkmalsdarstellung minimieren wir eine quadratische Binärzuordnungsfunktion, die aus zwei Termen besteht: (1) einem unären Term, der die Zuordnung von Query-Beispielen zu den nächstgelegenen Klassenprototypen vornimmt, und (2) einem paarweisen Laplace-Term, der nahe beieinander liegende Query-Beispiele zur konsistenten Label-Zuordnung ermutigt. Unsere transduktive Inferenz retrainiert das Basismodell nicht und kann als ein Graph-Clustering der Query-Menge interpretiert werden, unter Berücksichtigung von Supervisionsbedingungen aus dem Support-Satz. Wir leiten einen rechenintensiv effizienten Grenzoptimierer einer Relaxierung unserer Funktion ab, der unabhängige (parallele) Aktualisierungen für jedes einzelne Query-Beispiel berechnet und gleichzeitig Konvergenz garantiert. Nach einer einfachen Cross-Entropy-Trainingsphase auf den Basisklassen und ohne komplizierte Meta-Lernstrategien führten wir umfassende Experimente an fünf verschiedenen Few-Shot-Lern-Benchmarks durch. Unser Ansatz, LaplaceShot, übertrifft konsistent die derzeit besten Methoden bei signifikanten Abständen über verschiedene Modelle, Einstellungen und Datensätze hinweg. Darüber hinaus ist unsere transduktive Inferenz äußerst schnell und erreicht Rechenzeiten, die denen der induktiven Inferenz nahekommen, wodurch sie auch für großskalige Few-Shot-Aufgaben nutzbar ist.