Realistische Evaluation von Transductive Few-Shot Learning

Transduktive Inferenz wird in der Few-Shot-Lernumgebung weit verbreitet eingesetzt, da sie die Statistiken der unlabeled Query-Mengen einer Few-Shot-Aufgabe nutzt und typischerweise erheblich bessere Leistungen erzielt als ihre induktive Variante. Die derzeitigen Few-Shot-Benchmarks verwenden während der Inferenz perfekt klassenbalancierte Aufgaben. Wir argumentieren, dass diese künstliche Regularität unrealistisch ist, da sie annimmt, dass die marginale Label-Verteilung der Testbeispiele bekannt und auf die Gleichverteilung festgelegt ist. Tatsächlich weisen unlabeled Query-Mengen in realistischen Szenarien beliebige und unbekannte marginale Label-Verteilungen auf. Wir führen die Berücksichtigung beliebiger Klassenverteilungen innerhalb der Query-Mengen von Few-Shot-Aufgaben während der Inferenz ein und untersuchen deren Einfluss, wodurch der Artefakt der Klassenbalancierung eliminiert wird. Konkret modellieren wir die marginalen Klassenwahrscheinlichkeiten als Dirichlet-verteilter Zufallsvariablen, was eine fundierte und realistische Stichprobenziehung im Simplex ermöglicht. Dies erweitert die aktuellen Few-Shot-Benchmarks und erlaubt die Erstellung von Testaufgaben mit beliebigen Klassenverteilungen. Experimentell evaluieren wir state-of-the-art transductive Methoden auf drei weit verbreiteten Datensätzen und beobachten überraschenderweise erhebliche Leistungsabfälle, die in einigen Fällen sogar unter die Leistung induktiver Methoden fallen. Darüber hinaus schlagen wir eine Verallgemeinerung der Mutual-Information-Verlustfunktion basierend auf $α$-Divergenzen vor, die effektiv mit Variationen der Klassenverteilung umgehen kann. Empirisch zeigen wir, dass unsere transductive Optimierung mittels $α$-Divergenz mehrere Datensätze, Modelle und Few-Shot-Szenarien über state-of-the-art Methoden hinaus übertrifft. Unser Code ist öffentlich unter https://github.com/oveilleux/Realistic_Transductive_Few_Shot verfügbar.