HyperAIHyperAI

Command Palette

Search for a command to run...

Few-Shot Learning als Domain-Adaptation: Algorithmus und Analyse

Jiechao Guan Zhiwu Lu Tao Xiang Ji-Rong Wen

Zusammenfassung

Um unerkannte Klassen mit nur wenigen Beispielen zu erkennen, nutzt das Few-Shot-Lernen (FSL) vorherige Kenntnisse, die aus den gesehenen Klassen erlernt wurden. Eine zentrale Herausforderung des FSL besteht darin, dass die Verteilung der unerkannten Klassen von der der gesehenen Klassen abweicht, was selbst bei einer Meta-Trainingsphase auf den gesehenen Klassen zu einer schlechten Generalisierung führt. Diese durch Klassenunterschiede verursachte Verteilungsverschiebung kann als Sonderfall einer Domänenverschiebung betrachtet werden. In diesem Artikel stellen wir erstmals einen domain adaptation prototypical network mit Aufmerksamkeit (DAPNA) vor, um solch eine Domänenverschiebung innerhalb eines Meta-Lernrahmens explizit zu behandeln. Konkret nutzen wir zur Simulation der Domänenverschiebung zwischen gesehenen und unerkannten Klassen ein Episode-Design mit zwei Unter-episoden, die keine Klassenüberlappung auf den gesehenen Klassen aufweisen und auf einem Set-Transformer-basierten Aufmerksamkeitsmodul beruhen. Um die Merkmalsverteilungen der beiden Unter-episoden mit begrenzten Trainingsbeispielen zu alignen, wird ein Merkmalsübertragungsnetzwerk zusammen mit einer Margin Disparity Discrepancy (MDD)-Verlustfunktion eingesetzt. Wichtig ist, dass wir eine theoretische Analyse liefern, die die Lerngrenze unseres DAPNA abzuleiten erlaubt. Umfangreiche Experimente zeigen, dass unser DAPNA die derzeit besten FSL-Alternativen deutlich übertrifft, oft mit signifikanten Abständen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp