HyperAIHyperAI
vor 17 Tagen

Decoder Choice Network für Meta-Learning

Jialin Liu, Fei Chao, Longzhi Yang, Chih-Min Lin, Qiang Shen
Decoder Choice Network für Meta-Learning
Abstract

Meta-Learning wird weit verbreitet für die Implementierung von Few-Shot-Learning und schneller Modellanpassung eingesetzt. Eine Gruppe von Meta-Lernmethoden zielt darauf ab, zu lernen, wie der Gradientenabstieg-Prozess gesteuert werden kann, um gradientenbasiertes Lernen mit hoher Geschwindigkeit und guter Verallgemeinerungsfähigkeit zu ermöglichen. In dieser Arbeit wird ein Verfahren vorgestellt, das den Gradientenabstieg-Prozess der Modellparameter eines neuronalen Netzwerks durch Einschränkung der Modellparameter auf einen niedrigdimensionalen latenten Raum steuert. Die Hauptherausforderung dieses Ansatzes liegt darin, dass ein Dekoder mit zu vielen Parametern erforderlich ist. Um die Anzahl der benötigten Parameter zu reduzieren, wird in dieser Arbeit ein Dekoder mit typischer Struktur entworfen, bei dem ein Teil der Gewichte im Dekoder geteilt wird. Zudem wird Ensemble-Learning in Verbindung mit dem vorgeschlagenen Ansatz eingeführt, um die Leistungsfähigkeit weiter zu verbessern. Die Ergebnisse zeigen, dass der vorgeschlagene Ansatz eine überlegene Leistung im Vergleich zu den Aufgaben der Omniglot-Klassifikation und der miniImageNet-Klassifikation erzielt.