HyperAIHyperAI

Command Palette

Search for a command to run...

Realistische Evaluation von Transductive Few-Shot Learning

Olivier Veilleux Malik Boudiaf Pablo Piantanida Ismail Ben Ayed

Zusammenfassung

Transduktive Inferenz wird in der Few-Shot-Lernumgebung weit verbreitet eingesetzt, da sie die Statistiken der unlabeled Query-Mengen einer Few-Shot-Aufgabe nutzt und typischerweise erheblich bessere Leistungen erzielt als ihre induktive Variante. Die derzeitigen Few-Shot-Benchmarks verwenden während der Inferenz perfekt klassenbalancierte Aufgaben. Wir argumentieren, dass diese künstliche Regularität unrealistisch ist, da sie annimmt, dass die marginale Label-Verteilung der Testbeispiele bekannt und auf die Gleichverteilung festgelegt ist. Tatsächlich weisen unlabeled Query-Mengen in realistischen Szenarien beliebige und unbekannte marginale Label-Verteilungen auf. Wir führen die Berücksichtigung beliebiger Klassenverteilungen innerhalb der Query-Mengen von Few-Shot-Aufgaben während der Inferenz ein und untersuchen deren Einfluss, wodurch der Artefakt der Klassenbalancierung eliminiert wird. Konkret modellieren wir die marginalen Klassenwahrscheinlichkeiten als Dirichlet-verteilter Zufallsvariablen, was eine fundierte und realistische Stichprobenziehung im Simplex ermöglicht. Dies erweitert die aktuellen Few-Shot-Benchmarks und erlaubt die Erstellung von Testaufgaben mit beliebigen Klassenverteilungen. Experimentell evaluieren wir state-of-the-art transductive Methoden auf drei weit verbreiteten Datensätzen und beobachten überraschenderweise erhebliche Leistungsabfälle, die in einigen Fällen sogar unter die Leistung induktiver Methoden fallen. Darüber hinaus schlagen wir eine Verallgemeinerung der Mutual-Information-Verlustfunktion basierend auf ααα-Divergenzen vor, die effektiv mit Variationen der Klassenverteilung umgehen kann. Empirisch zeigen wir, dass unsere transductive Optimierung mittels ααα-Divergenz mehrere Datensätze, Modelle und Few-Shot-Szenarien über state-of-the-art Methoden hinaus übertrifft. Unser Code ist öffentlich unter https://github.com/oveilleux/Realistic_Transductive_Few_Shot verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Realistische Evaluation von Transductive Few-Shot Learning | Paper | HyperAI