HyperAIHyperAI

Command Palette

Search for a command to run...

Die Grenzen einfacher Pipelines für Few-Shot-Lernen herausfordern: Externe Daten und Fine-Tuning machen einen Unterschied

Shell Xu Hu Da Li Jan Stühmer Minyoung Kim Timothy M. Hospedales

Zusammenfassung

Few-shot Learning (FSL) ist ein zentrales und aktuelles Thema in der Computer Vision, das eine umfassende Forschung zu zahlreichen Methoden motiviert hat – von anspruchsvollen Meta-Lernverfahren bis hin zu einfachen Transfer-Learning-Baselines. Wir zielen darauf ab, die Grenzen eines einfachen, aber leistungsfähigen Pipelines für realistischere und praktikablere Szenarien des Few-Shot-Bildklassifikationsproblems zu erweitern. Dazu betrachten wir das Few-Shot-Lernen aus der Perspektive der neuronalen Netzarchitektur sowie eines dreistufigen Updates der Netzwerkstruktur unter unterschiedlichen Datenbedingungen: Dabei wird unlabeled externe Daten für die Vortrainierung genutzt, Basis-Kategorien dienen zur Simulation von Few-Shot-Aufgaben im Meta-Trainingsprozess, und die spärlich beschrifteten Daten einer neuen Aufgabe werden für das Feintuning eingesetzt. Wir untersuchen folgende Fragen: (1) Wie profitiert FSL von der Vortrainierung auf externen Daten? (2) Wie können state-of-the-art Transformer-Architekturen effektiv genutzt werden? und (3) Wie reduziert das Feintuning den Domain-Shift? Schließlich zeigen wir, dass eine einfache, auf Transformers basierende Pipeline überraschend gute Ergebnisse auf etablierten Benchmarks wie Mini-ImageNet, CIFAR-FS, CDFSL und Meta-Dataset erzielt. Unser Code und eine interaktive Demo sind unter https://hushell.github.io/pmf verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Die Grenzen einfacher Pipelines für Few-Shot-Lernen herausfordern: Externe Daten und Fine-Tuning machen einen Unterschied | Paper | HyperAI