HyperAIHyperAI

Command Palette

Search for a command to run...

kontextbewusstes Meta-Lernen

Christopher Fifty Dennis Duan Ronald G. Junkins Ehsan Amid Jure Leskovec Christopher Re Sebastian Thrun

Zusammenfassung

Große Sprachmodelle wie ChatGPT demonstrieren eine bemerkenswerte Fähigkeit, während der Inferenz neue Konzepte zu erlernen, ohne dass eine Feinabstimmung erforderlich ist. Visuelle Modelle, die darauf trainiert sind, neue Objekte während der Inferenz zu erkennen, konnten diese Fähigkeit bisher nicht nachahmen und erzielen entweder schlechte Ergebnisse oder benötigen Meta-Training und/oder Feinabstimmung an ähnlichen Objekten. In dieser Arbeit stellen wir einen Meta-Lernalgorithmus vor, der große Sprachmodelle nachahmt, indem er neue visuelle Konzepte während der Inferenz ohne Feinabstimmung erlernt. Unser Ansatz nutzt einen fixierten, vortrainierten Merkmalsextraktor und formt die visuelle Meta-Lernung analog zum In-Context-Lernen als Sequenzmodellierung über Datensätze mit bekannten Etiketten und einem Testdatensatz mit unbekannter Etikettierung um. Auf 8 von 11 Meta-Lernbenchmarks übertreffen oder erreichen wir ohne Meta-Training oder Feinabstimmung die Leistung des aktuellen State-of-the-Art-Algorithmus P>M>F, der auf diesen Benchmarks meta-trainiert wurde. Der Quellcode ist unter https://github.com/cfifty/CAML verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp