Gradientbasiertes Meta-Lernen mit gelernter schichtweiser Metrik und Unterraum

Gradientbasierte Meta-Lernmethoden nutzen Gradientenabstieg, um Gemeinsamkeiten zwischen verschiedenen Aufgaben zu lernen. Obwohl frühere Methoden dieser Art bei Meta-Lernaufgaben erfolgreich waren, greifen sie während des Meta-Testens auf einen einfachen Gradientenabstieg zurück. Unser Hauptbeitrag ist das {\em MT-Netz}, das es dem Meta-Lerner ermöglicht, in jedem Schichtaktivierungsbereich einen Unterraum zu lernen, in dem der taskspezifische Lerner den Gradientenabstieg durchführt. Zudem führt ein taskspezifischer Lerner eines {\em MT-Netzes} den Gradientenabstieg bezüglich einer meta-gelernten Distanzmetrik durch, die den Aktivierungsbereich so verformt, dass er empfindlicher für die taskspezifische Identität wird. Wir zeigen, dass die Dimension dieses gelernten Unterraums die Komplexität der Anpassungsaufgabe des taskspezifischen Lerners widerspiegelt und auch, dass unser Modell weniger empfindlich gegenüber der Wahl von Anfangslernraten ist als frühere gradientbasierte Meta-Lernmethoden. Unsere Methode erreicht den aktuellen Stand der Technik oder vergleichbare Leistungen bei Few-Shot-Klassifikations- und Regressionsaufgaben.