HyperAIHyperAI

Command Palette

Search for a command to run...

Über First-Order Meta-Lernalgorithmen

Alex Nichol Joshua Achiam John Schulman

Zusammenfassung

In dieser Arbeit werden Meta-Lernprobleme betrachtet, bei denen eine Verteilung von Aufgaben vorliegt und das Ziel ist, einen Agenten zu erlangen, der gut (d.h., schnell lernt) abschneidet, wenn ihm eine bisher unbekannte Aufgabe aus dieser Verteilung präsentiert wird. Wir analysieren eine Familie von Algorithmen, die es ermöglichen, eine Parameterinitialisierung zu lernen, die sich auf einer neuen Aufgabe mit nur ersten Ordnungsableitungen für die Meta-Lernaufgaben schnell anpassen lässt. Diese Familie umfasst und verallgemeinert First-Order MAML (FO-MAML), eine Approximation von MAML, die durch Ignorieren zweiter Ordnungsableitungen erreicht wird. Sie enthält auch Reptile, einen neuen Algorithmus, den wir hier einführen, der dadurch funktioniert, dass er wiederholt eine Aufgabe auswählt, darauf trainiert und die Initialisierung in Richtung der trainierten Gewichte dieser Aufgabe verschiebt. Wir bauen auf den Ergebnissen von Finn et al. auf und zeigen, dass erste-Ordnungs-Meta-Lernalgorithmen auf einigen etablierten Benchmarks für Few-Shot-Klassifikation gute Leistungen erzielen. Darüber hinaus liefern wir eine theoretische Analyse, die dazu beiträgt, das Verständnis dafür zu vertiefen, warum diese Algorithmen funktionieren.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Über First-Order Meta-Lernalgorithmen | Paper | HyperAI