HyperAIHyperAI

Command Palette

Search for a command to run...

Meta-gelerntes Vertrauen für Few-shot-Lernen

Seong Min Kye Hae Beom Lee Hoirin Kim Sung Ju Hwang

Zusammenfassung

Transduktive Inferenz ist eine effektive Methode zur Bewältigung des Datenschwundproblems in Few-Shot-Lernumgebungen. Eine gängige transduktive Inferenztechnik für Few-Shot-Metrik-basierte Ansätze besteht darin, den Prototyp jeder Klasse mittels des Mittelwerts der zuverlässigsten Abfragbeispiele oder eines vertrauensgewichteten Durchschnitts aller Abfragproben zu aktualisieren. Ein Problem hierbei ist jedoch, dass das Modellvertrauen unzuverlässig sein kann, was zu falschen Vorhersagen führen kann. Um dieses Problem anzugehen, schlagen wir vor, das Vertrauen für jedes Abfragbeispiel meta- zu lernen, um optimale Gewichte für unlabeled Abfragbeispiele zuzuweisen, sodass die Leistung der transduktiven Inferenz des Modells auf unbekannte Aufgaben verbessert wird. Dies erreichen wir durch die Meta-Lernung einer eingabeanpassungsfähigen Distanzmetrik über eine Aufgabeverteilung unter verschiedenen Modell- und Datenaufstörungen, wodurch Konsistenz der Modellvorhersagen unter unterschiedlichen Unsicherheiten für unbekannte Aufgaben gefördert wird. Darüber hinaus schlagen wir zusätzlich eine Regularisierung vor, die explizit die Konsistenz der Vorhersagen über die verschiedenen Dimensionen eines hochdimensionalen Embedding-Vektors erzwingt. Wir validieren unser Few-Shot-Lernmodell mit meta-gelerntem Vertrauen anhand vier Benchmark-Datensätze, auf denen es starke jüngere Baselines deutlich übertrifft und neue SOTA-Ergebnisse erzielt. Eine weitere Anwendung auf semi-supervised Few-Shot-Lernaufgaben führt ebenfalls zu signifikanten Leistungsverbesserungen gegenüber den Baselines. Der Quellcode unseres Algorithmus ist unter https://github.com/seongmin-kye/MCT verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp