HyperAIHyperAI

Command Palette

Search for a command to run...

Die Kraft des Meta-Tunings für die Few-Shot-Verallgemeinerung durch spärliche interpolierte Experten freisetzen

Shengzhuang Chen Jihoon Tack Yunqiao Yang Yee Whye Teh Jonathan Richard Schwarz Ying Wei

Zusammenfassung

Kürzliche Erfolge deuten darauf hin, dass parameter-effizientes Feinjustieren von Grundmodellen die derzeitige Standardmethode für Transferlearning in der Bildverarbeitung darstellt und die umfangreiche Literatur zu Alternativen wie dem Meta-Lernen ablöst. Bei dem Versuch, das Beste aus beiden Welten zu kombinieren, führt Meta-Tuning eine nachfolgende Optimierungsphase für Grundmodelle ein, hat jedoch bisher nur begrenzten Erfolg gezeigt und neigt insbesondere dazu, bei außerhalb der Verteilung liegenden (OOD) Aufgaben schlechter abzuschneiden. In dieser Arbeit stellen wir Sparse MetA-Tuning (SMAT) vor, eine Methode, die sich an dünn besetzten Misch-Experten-Ansätzen orientiert und trainiert wird, um automatisch Teilmenge der vorgefertigten Parameter für das Meta-Tuning auf jede Aufgabe zu isolieren. SMAT überwindet erfolgreich die OOD-Sensitivität und erfüllt die Erwartungen, die Fähigkeiten des Transfers von Vision-Grundmodellen über parameter-effizientes Feinjustieren hinaus zu verbessern. Wir erzielen neue Standesmethoden-Ergebnisse bei einer anspruchsvollen Kombination des Meta-Datasets mit zusätzlichen OOD-Aufgaben sowohl im zero-shot- als auch im gradientbasierten Anpassungsszenario. Zudem liefern wir eine gründliche Analyse der Überlegenheit gelernter gegenüber manuell entworfener Dünnbesetztheitsmuster für dünn besetzte Expertenmethoden sowie der entscheidenden Bedeutung des Dünnbesetztheitsgrades beim Ausgleich zwischen innerhalb der Verteilung liegender und außerhalb der Verteilung liegender Generalisierung. Unser Code ist öffentlich verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Die Kraft des Meta-Tunings für die Few-Shot-Verallgemeinerung durch spärliche interpolierte Experten freisetzen | Paper | HyperAI