Command Palette
Search for a command to run...
Empirische Bayes transduktive Meta-Learning mit synthetischen Gradienten
Empirische Bayes transduktive Meta-Learning mit synthetischen Gradienten
Shell Xu Hu Pablo G. Moreno Yang Xiao Xi Shen Guillaume Obozinski Neil D. Lawrence Andreas Damianou
Zusammenfassung
Wir schlagen einen Meta-Lernansatz vor, der in einer transduktiven Einstellung aus mehreren Aufgaben lernt, indem er sowohl die ungelabelten Query-Sets als auch die Support-Sets nutzt, um für jede Aufgabe ein leistungsfähigeres Modell zu generieren. Zur Entwicklung unseres Rahmens überprüfen wir erneut die empirische Bayes-Formulierung für das Mehr-Aufgaben-Lernen. Die Evidence-Lower-Bound der marginalen Log-Wahrscheinlichkeit im Rahmen der empirischen Bayes zerlegt sich als Summe lokaler KL-Divergenzen zwischen der variationalen Posterior und der wahren Posterior auf den Query-Sets jeder Aufgabe. Wir leiten eine neuartige amortisierte variationale Inferenz ab, die alle variationalen Posteriors über ein Meta-Modell verknüpft, das aus einem synthetischen Gradienten-Netzwerk und einem Initialisierungs-Netzwerk besteht. Jede variationale Posterior wird mittels synthetischem Gradientenabstieg abgeleitet, um die wahre Posterior auf dem Query-Set zu approximieren, obwohl der wahre Gradient nicht zugänglich ist. Unsere Ergebnisse auf den Benchmarks Mini-ImageNet und CIFAR-FS für episodisches Few-Shot-Klassifikationsaufgaben übertrafen die bisherigen State-of-the-Art-Methoden. Zudem führen wir zwei Zero-Shot-Lern-Experimente durch, um das Potenzial des synthetischen Gradienten weiter zu erforschen.