Meta-Transfer Learning für Few-Shot Learning

Das Meta-Lernen wurde als Rahmenwerk vorgeschlagen, um die herausfordernde Situation des Lernens mit wenigen Beispielen (Few-Shot Learning) anzugehen. Das Kernkonzept besteht darin, eine große Anzahl ähnlicher Few-Shot-Aufgaben zu nutzen, um zu lernen, wie ein Basis-Lerner (Base-Learner) für eine neue Aufgabe angepasst werden kann, für die nur wenige beschriftete Stichproben verfügbar sind. Da tiefe neuronale Netze (DNNs) neigen, bei der Verwendung von nur wenigen Beispielen überzupassen (overfitting), verwenden Meta-Lernverfahren in der Regel flache neuronale Netze (SNNs), was ihre Effektivität einschränkt. In dieser Arbeit schlagen wir eine neuartige Methode für Few-Shot-Lernen vor, die als Meta-Transfer-Lernen (MTL) bezeichnet wird und das Anpassen eines tiefen neuronalen Netzes an Few-Shot-Lernaufgaben lernt. Insbesondere bezieht sich "Meta" auf das Training mehrerer Aufgaben, während "Transfer" durch das Lernen von Skalierungsfunktionen und Verschiebungsfunktionen der Gewichte der DNNs für jede Aufgabe erreicht wird. Darüber hinaus führen wir das Hard Task (HT)-Meta-Batch-Schema als effektives Lerncurriculum für MTL ein. Wir führen Experimente mit (5-Klassen, 1-Schuss) und (5-Klassen, 5-Schuss)-Erkennungsaufgaben auf zwei anspruchsvollen Few-Shot-Lernaufgabenbenchmarks durch: miniImageNet und Fewshot-CIFAR100. Ausführliche Vergleiche mit verwandten Arbeiten bestätigen, dass unser Meta-Transfer-Lernansatz, der mit dem vorgeschlagenen HT-Meta-Batch-Schema trainiert wurde, Spitzenleistungen erzielt. Eine Ablationsstudie zeigt zudem, dass beide Komponenten zur schnellen Konvergenz und hoher Genauigkeit beitragen.