kontextbewusstes Meta-Lernen

Große Sprachmodelle wie ChatGPT demonstrieren eine bemerkenswerte Fähigkeit, während der Inferenz neue Konzepte zu erlernen, ohne dass eine Feinabstimmung erforderlich ist. Visuelle Modelle, die darauf trainiert sind, neue Objekte während der Inferenz zu erkennen, konnten diese Fähigkeit bisher nicht nachahmen und erzielen entweder schlechte Ergebnisse oder benötigen Meta-Training und/oder Feinabstimmung an ähnlichen Objekten. In dieser Arbeit stellen wir einen Meta-Lernalgorithmus vor, der große Sprachmodelle nachahmt, indem er neue visuelle Konzepte während der Inferenz ohne Feinabstimmung erlernt. Unser Ansatz nutzt einen fixierten, vortrainierten Merkmalsextraktor und formt die visuelle Meta-Lernung analog zum In-Context-Lernen als Sequenzmodellierung über Datensätze mit bekannten Etiketten und einem Testdatensatz mit unbekannter Etikettierung um. Auf 8 von 11 Meta-Lernbenchmarks übertreffen oder erreichen wir ohne Meta-Training oder Feinabstimmung die Leistung des aktuellen State-of-the-Art-Algorithmus P>M>F, der auf diesen Benchmarks meta-trainiert wurde. Der Quellcode ist unter https://github.com/cfifty/CAML verfügbar.