PAC-Bayes Meta-Lernen mit impliziten, auf die Aufgabe spezifischen Posteriors

Wir stellen einen neuen und streng formulierten PAC-Bayes-Meta-Lernalgorithmus vor, der das Few-Shot-Lernen löst. Unser vorgeschlagener Ansatz erweitert den PAC-Bayes-Rahmenwerk von einer Einzelaufgaben-Situation auf den Meta-Lernkontext mehrerer Aufgaben, um eine obere Schranke für den Fehler auf beliebigen, auch bisher nicht gesehenen, Aufgaben und Stichproben zu gewährleisten. Zudem entwickeln wir einen generativen Ansatz zur Schätzung der Posterior-Verteilung der aufgabenspezifischen Modellparameter, der ausdrucksstärker ist als die übliche Annahme einer mehrdimensionalen Normalverteilung mit diagonaler Kovarianzmatrix. Wir zeigen, dass die mit unserem vorgeschlagenen Meta-Lernalgorithmus trainierten Modelle gut kalibriert und präzise sind und state-of-the-art-Ergebnisse sowohl in Bezug auf Kalibrierung als auch Klassifikation auf Few-Shot-Klassifikationsbenchmarks (mini-ImageNet und tiered-ImageNet) sowie auf Regressionsbenchmarks (multi-modale Aufgabenverteilungsregression) erzielen.