Vernetzung von Multi-Task-Learning und Meta-Learning: Hin zu effizientem Training und wirksamer Anpassung

Mehraufgaben-Lernen (Multi-task Learning, MTL) zielt darauf ab, die Generalisierung mehrerer verwandter Aufgaben durch gemeinsames Lernen zu verbessern. Im Gegensatz dazu ermöglicht moderne Meta-Lernen im Testphase – neben dem gemeinsamen Trainingsansatz – die schnelle Anpassung an bisher unbekannte Aufgaben mit begrenzten Labels. Obwohl sich MTL und Meta-Lernen in der Problemformulierung nur subtil unterscheiden, teilen beide Lernparadigmen die gleiche zentrale Einsicht: Die gemeinsame Struktur zwischen bereits trainierten Aufgaben kann zu einer besseren Generalisierung und Anpassung führen. In diesem Artikel gehen wir einen wichtigen Schritt weiter, um die enge Verbindung zwischen diesen beiden Lernparadigmen sowohl theoretisch als auch empirisch zu untersuchen. Theoretisch zeigen wir zunächst, dass MTL dieselbe Optimierungsformulierung wie eine Klasse von gradientenbasierten Meta-Lernverfahren (Gradient-Based Meta-Learning, GBML) aufweist. Anschließend beweisen wir, dass sich für überparametrisierte neuronale Netze mit ausreichender Tiefe die gelernten Vorhersagefunktionen von MTL und GBML nahekommen. Insbesondere bedeutet dies, dass die Vorhersagen beider Modelle auf derselben bisher unbekannten Aufgabe ähnlich sind. Empirisch bestätigen wir unsere theoretischen Ergebnisse, indem wir zeigen, dass MTL bei geeigneter Implementierung auf einer Reihe von Few-Shot-Bildklassifizierungsbenchmarks mit modernsten GBML-Algorithmen konkurrieren kann. Da bestehende GBML-Algorithmen oft kostspielige zweite Ordnung bi-level-Optimierungen erfordern, ist unsere erste Ordnung MTL-Methode auf großskaligen Datensätzen wie mini-ImageNet um eine Größenordnung schneller. Wir sind überzeugt, dass diese Arbeit dazu beitragen kann, die Lücke zwischen diesen beiden Lernparadigmen zu schließen und eine rechenzeit-effiziente Alternative zu GBML bereitzustellen, die zudem eine schnelle Aufgabenanpassung unterstützt.