Die Grenzen einfacher Pipelines für Few-Shot-Lernen herausfordern: Externe Daten und Fine-Tuning machen einen Unterschied

Few-shot Learning (FSL) ist ein zentrales und aktuelles Thema in der Computer Vision, das eine umfassende Forschung zu zahlreichen Methoden motiviert hat – von anspruchsvollen Meta-Lernverfahren bis hin zu einfachen Transfer-Learning-Baselines. Wir zielen darauf ab, die Grenzen eines einfachen, aber leistungsfähigen Pipelines für realistischere und praktikablere Szenarien des Few-Shot-Bildklassifikationsproblems zu erweitern. Dazu betrachten wir das Few-Shot-Lernen aus der Perspektive der neuronalen Netzarchitektur sowie eines dreistufigen Updates der Netzwerkstruktur unter unterschiedlichen Datenbedingungen: Dabei wird unlabeled externe Daten für die Vortrainierung genutzt, Basis-Kategorien dienen zur Simulation von Few-Shot-Aufgaben im Meta-Trainingsprozess, und die spärlich beschrifteten Daten einer neuen Aufgabe werden für das Feintuning eingesetzt. Wir untersuchen folgende Fragen: (1) Wie profitiert FSL von der Vortrainierung auf externen Daten? (2) Wie können state-of-the-art Transformer-Architekturen effektiv genutzt werden? und (3) Wie reduziert das Feintuning den Domain-Shift? Schließlich zeigen wir, dass eine einfache, auf Transformers basierende Pipeline überraschend gute Ergebnisse auf etablierten Benchmarks wie Mini-ImageNet, CIFAR-FS, CDFSL und Meta-Dataset erzielt. Unser Code und eine interaktive Demo sind unter https://hushell.github.io/pmf verfügbar.