Methode der simultanen Störung zur Optimierung mehrerer Aufgaben-Gewichte in One-Shot Meta-Learning

Meta-Lernverfahren zielen darauf ab, Lernalgorithmen zu entwickeln, die sich schnell auf neue Aufgaben im Low-Data-Regime anpassen können. Eine der anspruchsvollsten Herausforderungen für solche Algorithmen stellt das One-Shot-Lernen dar. In diesem Setup stehen viele Algorithmen vor Unsicherheiten, die durch die begrenzte Anzahl an Trainingsbeispielen verursacht werden und zu Überanpassung (Overfitting) führen können. Dieses Problem lässt sich durch die Bereitstellung zusätzlicher Information an das Modell beheben. Eine der effizientesten Ansätze hierfür ist das Multi-Task-Lernen. In diesem Paper untersuchen wir eine Modifikation des herkömmlichen Meta-Lern-Pipelines. Der vorgeschlagene Ansatz nutzt gleichzeitig Informationen aus mehreren Meta-Trainingsaufgaben in einer gemeinsamen Verlustfunktion. Der Einfluss jeder Aufgabe auf die Verlustfunktion wird durch eine pro-Aufgabe gewichtete Komponente gesteuert. Eine sorgfältige Optimierung dieser Gewichte kann erheblichen Einfluss auf den Trainingsprozess und die endgültige Modellqualität haben. Wir schlagen vor, Methoden aus der Familie der Simultaneous Perturbation Stochastic Approximation (SPSA) zur Optimierung der Meta-Trainingsaufgaben-Gewichte einzusetzen und untersuchen deren Wirksamkeit. Zudem zeigen wir die Überlegenheit der stochastischen Approximation gegenüber gradientenbasierten Methoden. Die vorgeschlagene Multi-Task-Modifikation ist nahezu universell einsetzbar und lässt sich auf fast alle Meta-Lernverfahren anwenden. Wir evaluieren die Anwendung dieser Modifikation an den Algorithmen Model-Agnostic Meta-Learning (MAML) und Prototypical Networks auf den One-Shot-Lernbenchmarks CIFAR-FS, FC100, miniImageNet und tieredImageNet. In den durchgeführten Experimenten zeigt die Multi-Task-Modifikation eine signifikante Verbesserung gegenüber den ursprünglichen Methoden. Der in dieser Arbeit erstmals für die Optimierung von Multi-Task-Gewichten eingesetzte SPSA-Tracking-Algorithmus erzielt den größten Genauigkeitsgewinn und ist mit den aktuellen State-of-the-Art-Meta-Lernmethoden konkurrenzfähig. Unser Quellcode ist öffentlich verfügbar.