Erweitertes Few-Shot-Lernen: Ausnutzung bestehender Ressourcen für neue Aufgaben

In vielen praktischen Few-Shot-Lernproblemen sind zwar gelabelte Beispiele spärlich, doch existieren reichlich ergänzende Datensätze, die potenziell nützliche Informationen enthalten. Wir stellen das Problem des erweiterten Few-Shot-Lernens vor, um solche Szenarien zu untersuchen. Anschließend führen wir einen Rahmen ein, um die Herausforderungen der effizienten Auswahl und effektiven Nutzung ergänzender Daten im Kontext der Few-Shot-Bildklassifikation anzugehen. Gegeben einen großen ergänzenden Datensatz und eine Vorstellung der semantischen Ähnlichkeit zwischen Klassen, wählen wir automatisch sogenannte Pseudo-Shots aus, also gelabelte Beispiele aus anderen Klassen, die mit der Zielaufgabe verwandt sind. Wir zeigen, dass naive Ansätze, wie (1) die zusätzlichen Beispiele gleichartig zu modellieren wie die Beispiele der Zielaufgabe oder (2) sie zur Merkmalslernung mittels Transferlernen zu nutzen, die Genauigkeit nur geringfügig verbessern. Stattdessen schlagen wir ein Maskierungsmodul vor, das die Merkmale der ergänzenden Daten so anpasst, dass sie ähnlicher zu den Merkmalen der Zielklassen werden. Wir belegen, dass dieses Maskierungsmodul im Vergleich zu naiven Modellierungsansätzen für die Support-Beispiele und Transferlernen jeweils um 4,68 bzw. 6,03 Prozentpunkte besser abschneidet.