Wie man sein MAML trainiert

Das Gebiet des Few-Shot-Learnings hat kürzlich erhebliche Fortschritte erlebt. Die meisten dieser Fortschritte resultieren aus der Formulierung des Few-Shot-Learnings als Meta-Learning-Problem. Das Modell-agnostische Meta-Lernen (Model-Agnostic Meta-Learning, MAML) ist aktuell einer der besten Ansätze für Few-Shot-Learning durch Meta-Lernen. MAML ist einfach, elegant und sehr leistungsfähig, jedoch weist es eine Vielzahl von Problemen auf, wie zum Beispiel eine hohe Sensibilität gegenüber neuronalen Netzarchitekturen, was oft zu Instabilitäten während des Trainings führt, mühsame Hyperparameter-Suchvorgänge zur Stabilisierung des Trainings und Erreichung hoher Generalisierungskapazitäten erfordert und sowohl während des Trainings als auch bei der Inferenz sehr rechenintensiv ist. In dieser Arbeit schlagen wir verschiedene Modifikationen an MAML vor, die das System nicht nur stabilisieren, sondern auch die Generalisierungsleistung, die Konvergenzgeschwindigkeit und den Rechenaufwand von MAML erheblich verbessern. Wir bezeichnen diesen optimierten Ansatz als MAML++.