Transduktive Informationsmaximierung für Few-Shot-Lernen

Wir stellen Transductive Information Maximization (TIM) für Few-Shot-Lernen vor. Unsere Methode maximiert die gegenseitige Information zwischen den Abfrage-Features und deren Label-Vorhersagen für eine gegebene Few-Shot-Aufgabe, kombiniert mit einer Supervisionsverlustfunktion, die auf dem Support-Satz basiert. Zudem präsentieren wir einen neuen Alternating-Direction-Löser für unseren Mutual-Information-Verlust, der die Konvergenz bei transduktiver Inferenz erheblich beschleunigt im Vergleich zu gradientenbasierten Optimierungsverfahren, während gleichzeitig eine vergleichbare Genauigkeit erzielt wird. Die TIM-Inferenz ist modular: Sie kann auf beliebige Feature-Extraktoren, die im Basis-Training trainiert wurden, aufgesetzt werden. Unter den üblichen transduktiven Few-Shot-Settings zeigen unsere umfassenden Experimente, dass TIM state-of-the-art-Methoden signifikant übertrifft, sowohl auf verschiedenen Datensätzen als auch auf unterschiedlichen Netzwerken. Dabei wird ein festgelegter Feature-Extraktor verwendet, der mit einfacher Cross-Entropy auf den Basis-Klassen trainiert wurde, ohne auf komplexe Meta-Learning-Schemata zurückgreifen zu müssen. TIM erzielt konsistent eine Genauigkeitssteigerung zwischen 2 % und 5 % gegenüber der besten bisherigen Methode – nicht nur auf den etablierten Few-Shot-Benchmarks, sondern auch in anspruchsvolleren Szenarien mit Domänenverschiebungen und größeren Klassenanzahlen.