HyperAIHyperAI

Command Palette

Search for a command to run...

Transduktive Informationsmaximierung für Few-Shot-Lernen

Malik Boudiaf Ziko Imtiaz Masud Jérôme Rony José Dolz Pablo Piantanida Ismail Ben Ayed

Zusammenfassung

Wir stellen Transductive Information Maximization (TIM) für Few-Shot-Lernen vor. Unsere Methode maximiert die gegenseitige Information zwischen den Abfrage-Features und deren Label-Vorhersagen für eine gegebene Few-Shot-Aufgabe, kombiniert mit einer Supervisionsverlustfunktion, die auf dem Support-Satz basiert. Zudem präsentieren wir einen neuen Alternating-Direction-Löser für unseren Mutual-Information-Verlust, der die Konvergenz bei transduktiver Inferenz erheblich beschleunigt im Vergleich zu gradientenbasierten Optimierungsverfahren, während gleichzeitig eine vergleichbare Genauigkeit erzielt wird. Die TIM-Inferenz ist modular: Sie kann auf beliebige Feature-Extraktoren, die im Basis-Training trainiert wurden, aufgesetzt werden. Unter den üblichen transduktiven Few-Shot-Settings zeigen unsere umfassenden Experimente, dass TIM state-of-the-art-Methoden signifikant übertrifft, sowohl auf verschiedenen Datensätzen als auch auf unterschiedlichen Netzwerken. Dabei wird ein festgelegter Feature-Extraktor verwendet, der mit einfacher Cross-Entropy auf den Basis-Klassen trainiert wurde, ohne auf komplexe Meta-Learning-Schemata zurückgreifen zu müssen. TIM erzielt konsistent eine Genauigkeitssteigerung zwischen 2 % und 5 % gegenüber der besten bisherigen Methode – nicht nur auf den etablierten Few-Shot-Benchmarks, sondern auch in anspruchsvolleren Szenarien mit Domänenverschiebungen und größeren Klassenanzahlen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp