Few-Shot Learning als Domain-Adaptation: Algorithmus und Analyse

Um unerkannte Klassen mit nur wenigen Beispielen zu erkennen, nutzt das Few-Shot-Lernen (FSL) vorherige Kenntnisse, die aus den gesehenen Klassen erlernt wurden. Eine zentrale Herausforderung des FSL besteht darin, dass die Verteilung der unerkannten Klassen von der der gesehenen Klassen abweicht, was selbst bei einer Meta-Trainingsphase auf den gesehenen Klassen zu einer schlechten Generalisierung führt. Diese durch Klassenunterschiede verursachte Verteilungsverschiebung kann als Sonderfall einer Domänenverschiebung betrachtet werden. In diesem Artikel stellen wir erstmals einen domain adaptation prototypical network mit Aufmerksamkeit (DAPNA) vor, um solch eine Domänenverschiebung innerhalb eines Meta-Lernrahmens explizit zu behandeln. Konkret nutzen wir zur Simulation der Domänenverschiebung zwischen gesehenen und unerkannten Klassen ein Episode-Design mit zwei Unter-episoden, die keine Klassenüberlappung auf den gesehenen Klassen aufweisen und auf einem Set-Transformer-basierten Aufmerksamkeitsmodul beruhen. Um die Merkmalsverteilungen der beiden Unter-episoden mit begrenzten Trainingsbeispielen zu alignen, wird ein Merkmalsübertragungsnetzwerk zusammen mit einer Margin Disparity Discrepancy (MDD)-Verlustfunktion eingesetzt. Wichtig ist, dass wir eine theoretische Analyse liefern, die die Lerngrenze unseres DAPNA abzuleiten erlaubt. Umfangreiche Experimente zeigen, dass unser DAPNA die derzeit besten FSL-Alternativen deutlich übertrifft, oft mit signifikanten Abständen.