Meta-SGD: Schnelles Lernen für Few-Shot-Lernen erlernen

Few-Shot-Lernen stellt eine Herausforderung für Lernalgorithmen dar, die jede Aufgabe isoliert und von Grund auf neu erlernen. Im Gegensatz dazu lernt Meta-Lernen aus vielen verwandten Aufgaben einen Meta-Lerner, der eine neue Aufgabe mit weniger Beispielen genauer und schneller erlernen kann, wobei die Wahl des Meta-Lerners entscheidend ist. In dieser Arbeit entwickeln wir Meta-SGD, einen Lernalgorithmus im Stil von SGD (Stochastic Gradient Descent), der leicht trainierbar ist und in einem einzigen Schritt jeden differenzierbaren Lerner initialisieren und anpassen kann, sowohl im überwachten als auch im verstärkenden Lernen. Verglichen mit dem weit verbreiteten Meta-Lerner LSTM (Long Short-Term Memory) ist Meta-SGD konzeptionell einfacher, leichter zu implementieren und kann effizienter gelernt werden. Im Vergleich zum neuesten Meta-Lerner MAML (Model-Agnostic Meta-Learning) hat Meta-SGD eine viel höhere Kapazität, indem es nicht nur die Initialisierung des Lerners lernt, sondern auch die Aktualisierungsrichtung und die Lernrate des Lerners in einem einzigen Meta-Lernprozess. Meta-SGD zeigt eine hochwettbewerbsfähige Leistung beim Few-Shot-Lernen in Regression, Klassifikation und verstärkendem Lernen.