HyperAIHyperAI

Command Palette

Search for a command to run...

Gradientbasiertes Meta-Lernen mit gelernter schichtweiser Metrik und Unterraum

Yoonho Lee Seungjin Choi

Zusammenfassung

Gradientbasierte Meta-Lernmethoden nutzen Gradientenabstieg, um Gemeinsamkeiten zwischen verschiedenen Aufgaben zu lernen. Obwohl frühere Methoden dieser Art bei Meta-Lernaufgaben erfolgreich waren, greifen sie während des Meta-Testens auf einen einfachen Gradientenabstieg zurück. Unser Hauptbeitrag ist das {\em MT-Netz}, das es dem Meta-Lerner ermöglicht, in jedem Schichtaktivierungsbereich einen Unterraum zu lernen, in dem der taskspezifische Lerner den Gradientenabstieg durchführt. Zudem führt ein taskspezifischer Lerner eines {\em MT-Netzes} den Gradientenabstieg bezüglich einer meta-gelernten Distanzmetrik durch, die den Aktivierungsbereich so verformt, dass er empfindlicher für die taskspezifische Identität wird. Wir zeigen, dass die Dimension dieses gelernten Unterraums die Komplexität der Anpassungsaufgabe des taskspezifischen Lerners widerspiegelt und auch, dass unser Modell weniger empfindlich gegenüber der Wahl von Anfangslernraten ist als frühere gradientbasierte Meta-Lernmethoden. Unsere Methode erreicht den aktuellen Stand der Technik oder vergleichbare Leistungen bei Few-Shot-Klassifikations- und Regressionsaufgaben.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp