Meta-Lernen mit einem geometrieadaptiven Preconditioner

Model-agnostic meta-learning (MAML) ist eines der erfolgreichsten Meta-Lernverfahren. Es verfügt über eine zweistufige Optimierungsstruktur, bei der der äußere Schleifenvorgang eine gemeinsame Initialisierung lernt und der innere Schleifenvorgang die auf die Aufgabe zugeschnittenen Gewichte optimiert. Obwohl MAML im inneren Schleifenvorgang auf den herkömmlichen Gradientenabstieg zurückgreift, haben neuere Studien gezeigt, dass die Kontrolle des Gradientenabstiegs im inneren Schleifenvorgang durch einen meta-gelernten Preconditioner vorteilhaft sein kann. Bestehende Preconditioner können jedoch weder gleichzeitig auf eine aufgabe-spezifische noch auf eine pfadabhängige Weise angepasst werden. Zudem erfüllen sie nicht die Bedingung eines Riemannschen Metrik, die es ermöglicht, den steilsten Abstieg mit einem preconditionierten Gradienten zu realisieren. In dieser Studie schlagen wir Geometry-Adaptive Preconditioned gradient descent (GAP) vor, das die oben genannten Einschränkungen von MAML überwindet: GAP kann effizient einen Preconditioner meta-lernen, der von den aufgabe-spezifischen Parametern abhängt, und es lässt sich zeigen, dass der Preconditioner eine Riemannsche Metrik darstellt. Dank dieser beiden Eigenschaften ist der geometrieadaptive Preconditioner effektiv zur Verbesserung der inneren Schleifensoptimierung. Experimentelle Ergebnisse zeigen, dass GAP die derzeit besten Verfahren der MAML-Familie sowie die der preconditionierten Gradientenabstiegs-MAML (PGD-MAML)-Familie in einer Vielzahl von Few-Shot-Lernaufgaben übertrifft. Der Quellcode ist unter folgender Adresse verfügbar: https://github.com/Suhyun777/CVPR23-GAP.