Lernen, zu lernen durch Selbstkritik

Im Few-Shot-Lernen lernt ein maschinelles Lernsystem aus einer kleinen Menge von etikettierten Beispielen, die sich auf eine bestimmte Aufgabe beziehen, sodass es auf neue Beispiele derselben Aufgabe verallgemeinern kann. Angesichts der begrenzten Verfügbarkeit von etikettierten Beispielen bei solchen Aufgaben möchten wir alle verfügbaren Informationen nutzen. Normalerweise lernt ein Modell aufgabenbezogene Informationen aus einem kleinen Trainingsdatensatz (Support-Set), um Vorhersagen für einen nicht-etikettierten Validierungsdatensatz (Target-Set) zu treffen. Der Target-Set enthält zusätzliche aufgabenbezogene Informationen, die von existierenden Few-Shot-Lernmethoden nicht genutzt werden. Die Nutzung der Target-Set-Beispiele durch transduktives Lernen erfordert Ansätze, die über die aktuellen Methoden hinausgehen; zur Inferenzzeit enthält der Target-Set ausschließlich nicht-etikettierte Eingabedatenpunkte, weshalb diskriminatives Lernen nicht angewendet werden kann. In dieser Arbeit schlagen wir einen Rahmen vor, den wir Self-Critique and Adapt (SCA) nennen, der das Lernen einer etikettenfreien Verlustfunktion ermöglicht, die als neuronales Netz parametrisiert ist. Ein Basismodell lernt zunächst auf einem Support-Set mit bestehenden Methoden (z.B. stochastischer Gradientenabstieg in Kombination mit dem Kreuzentropieverlust), und wird dann für die eingehende Target-Aufgabe unter Verwendung der gelernten Verlustfunktion aktualisiert. Diese etikettenfreie Verlustfunktion wird selbst optimiert, sodass das gelernte Modell eine bessere Generalisierungslistung erreicht. Experimente zeigen, dass SCA im Vergleich zu Baselines, die nur auf dem Support-Set anpassen, erheblich reduzierte Fehlerquoten bietet und zu Stand-of-the-Art-Ergebnissen bei Benchmarks wie Mini-ImageNet und Caltech-UCSD Birds 200 führt.