HyperAIHyperAI

Command Palette

Search for a command to run...

Empirische Bayes transduktive Meta-Learning mit synthetischen Gradienten

Shell Xu Hu Pablo G. Moreno Yang Xiao Xi Shen Guillaume Obozinski Neil D. Lawrence Andreas Damianou

Zusammenfassung

Wir schlagen einen Meta-Lernansatz vor, der in einer transduktiven Einstellung aus mehreren Aufgaben lernt, indem er sowohl die ungelabelten Query-Sets als auch die Support-Sets nutzt, um für jede Aufgabe ein leistungsfähigeres Modell zu generieren. Zur Entwicklung unseres Rahmens überprüfen wir erneut die empirische Bayes-Formulierung für das Mehr-Aufgaben-Lernen. Die Evidence-Lower-Bound der marginalen Log-Wahrscheinlichkeit im Rahmen der empirischen Bayes zerlegt sich als Summe lokaler KL-Divergenzen zwischen der variationalen Posterior und der wahren Posterior auf den Query-Sets jeder Aufgabe. Wir leiten eine neuartige amortisierte variationale Inferenz ab, die alle variationalen Posteriors über ein Meta-Modell verknüpft, das aus einem synthetischen Gradienten-Netzwerk und einem Initialisierungs-Netzwerk besteht. Jede variationale Posterior wird mittels synthetischem Gradientenabstieg abgeleitet, um die wahre Posterior auf dem Query-Set zu approximieren, obwohl der wahre Gradient nicht zugänglich ist. Unsere Ergebnisse auf den Benchmarks Mini-ImageNet und CIFAR-FS für episodisches Few-Shot-Klassifikationsaufgaben übertrafen die bisherigen State-of-the-Art-Methoden. Zudem führen wir zwei Zero-Shot-Lern-Experimente durch, um das Potenzial des synthetischen Gradienten weiter zu erforschen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp