HyperAIHyperAI

Command Palette

Search for a command to run...

Lernen, zu lernen durch Selbstkritik

Antreas Antoniou; Amos Storkey

Zusammenfassung

Im Few-Shot-Lernen lernt ein maschinelles Lernsystem aus einer kleinen Menge von etikettierten Beispielen, die sich auf eine bestimmte Aufgabe beziehen, sodass es auf neue Beispiele derselben Aufgabe verallgemeinern kann. Angesichts der begrenzten Verfügbarkeit von etikettierten Beispielen bei solchen Aufgaben möchten wir alle verfügbaren Informationen nutzen. Normalerweise lernt ein Modell aufgabenbezogene Informationen aus einem kleinen Trainingsdatensatz (Support-Set), um Vorhersagen für einen nicht-etikettierten Validierungsdatensatz (Target-Set) zu treffen. Der Target-Set enthält zusätzliche aufgabenbezogene Informationen, die von existierenden Few-Shot-Lernmethoden nicht genutzt werden. Die Nutzung der Target-Set-Beispiele durch transduktives Lernen erfordert Ansätze, die über die aktuellen Methoden hinausgehen; zur Inferenzzeit enthält der Target-Set ausschließlich nicht-etikettierte Eingabedatenpunkte, weshalb diskriminatives Lernen nicht angewendet werden kann. In dieser Arbeit schlagen wir einen Rahmen vor, den wir Self-Critique and Adapt (SCA) nennen, der das Lernen einer etikettenfreien Verlustfunktion ermöglicht, die als neuronales Netz parametrisiert ist. Ein Basismodell lernt zunächst auf einem Support-Set mit bestehenden Methoden (z.B. stochastischer Gradientenabstieg in Kombination mit dem Kreuzentropieverlust), und wird dann für die eingehende Target-Aufgabe unter Verwendung der gelernten Verlustfunktion aktualisiert. Diese etikettenfreie Verlustfunktion wird selbst optimiert, sodass das gelernte Modell eine bessere Generalisierungslistung erreicht. Experimente zeigen, dass SCA im Vergleich zu Baselines, die nur auf dem Support-Set anpassen, erheblich reduzierte Fehlerquoten bietet und zu Stand-of-the-Art-Ergebnissen bei Benchmarks wie Mini-ImageNet und Caltech-UCSD Birds 200 führt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Lernen, zu lernen durch Selbstkritik | Paper | HyperAI