Aufgaben-spezifischer Vorkonditionierer für cross-domain Few-Shot-Lernen

Cross-Domain Few-Shot Learning (CDFSL)-Methoden parametrisieren Modelle in der Regel mit task-unabhängigen und task-spezifischen Parametern. Um die task-spezifischen Parameter anzupassen, haben aktuelle Ansätze feste Optimierungsstrategien verwendet, obwohl diese über verschiedene Domains oder Zieltasks hinweg potenziell suboptimal sein können. Um dieses Problem zu lösen, schlagen wir einen neuen Anpassungsmechanismus vor, den wir Task-Spezifische Vorkonditionierte Gradientenabstieg (TSP) nennen. Unsere Methode meta-lädt zunächst Domain-Spezifische Vorkonditionierer (DSPs), die die Eigenschaften jeder Meta-Trainingsdomain erfassen. Diese werden dann unter Verwendung von task-Koeffizienten linear kombiniert, um den Task-Spezifischen Vorkonditionierer zu bilden. Der Vorkonditionierer wird auf den Gradientenabstieg angewendet, sodass die Optimierung sich an den Zieltask anpasst. Wir beschränken unsere Vorkonditionierer auf positiv definite Matrizen, um den vorkonditionierten Gradienten in Richtung des steilsten Abstiegs zu lenken. Empirische Auswertungen am Meta-Datensatz zeigen, dass TSP über verschiedene experimentelle Szenarien hinweg state-of-the-art Leistungen erzielt.