HyperAIHyperAI

Command Palette

Search for a command to run...

Meta-Lernen mit einem geometrieadaptiven Preconditioner

Suhyun Kang Duhun Hwang Moonjung Eo Taesup Kim Wonjong Rhee

Zusammenfassung

Model-agnostic meta-learning (MAML) ist eines der erfolgreichsten Meta-Lernverfahren. Es verfügt über eine zweistufige Optimierungsstruktur, bei der der äußere Schleifenvorgang eine gemeinsame Initialisierung lernt und der innere Schleifenvorgang die auf die Aufgabe zugeschnittenen Gewichte optimiert. Obwohl MAML im inneren Schleifenvorgang auf den herkömmlichen Gradientenabstieg zurückgreift, haben neuere Studien gezeigt, dass die Kontrolle des Gradientenabstiegs im inneren Schleifenvorgang durch einen meta-gelernten Preconditioner vorteilhaft sein kann. Bestehende Preconditioner können jedoch weder gleichzeitig auf eine aufgabe-spezifische noch auf eine pfadabhängige Weise angepasst werden. Zudem erfüllen sie nicht die Bedingung eines Riemannschen Metrik, die es ermöglicht, den steilsten Abstieg mit einem preconditionierten Gradienten zu realisieren. In dieser Studie schlagen wir Geometry-Adaptive Preconditioned gradient descent (GAP) vor, das die oben genannten Einschränkungen von MAML überwindet: GAP kann effizient einen Preconditioner meta-lernen, der von den aufgabe-spezifischen Parametern abhängt, und es lässt sich zeigen, dass der Preconditioner eine Riemannsche Metrik darstellt. Dank dieser beiden Eigenschaften ist der geometrieadaptive Preconditioner effektiv zur Verbesserung der inneren Schleifensoptimierung. Experimentelle Ergebnisse zeigen, dass GAP die derzeit besten Verfahren der MAML-Familie sowie die der preconditionierten Gradientenabstiegs-MAML (PGD-MAML)-Familie in einer Vielzahl von Few-Shot-Lernaufgaben übertrifft. Der Quellcode ist unter folgender Adresse verfügbar: https://github.com/Suhyun777/CVPR23-GAP.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp