Selbst-Aufmerksamkeits-Nachrichtenübertragung für kontrastives Few-Shot-Lernen

Menschen verfügen über die einzigartige Fähigkeit, neue Repräsentationen aus nur wenigen Beispielen und mit minimaler bis keiner Überwachung zu lernen. Tiefen Lernmodelle erfordern jedoch eine Fülle von Daten und Überwachung, um auf einem zufriedenstellenden Niveau zu performen. Unüberwachte Few-Shot-Lernen (U-FSL) ist das Streben, diese Lücke zwischen Maschinen und Menschen zu schließen. Inspiriert durch die Fähigkeit von Graph Neural Networks (GNNs) komplex inter-sample Beziehungen zu entdecken, schlagen wir einen neuen Ansatz des selbst-attention basierten message-passing kontrastiven Lernens vor (als SAMP-CLR bezeichnet), für die U-FSL-Vorabtrainierung. Wir schlagen außerdem eine Feinabstimmungsstrategie auf Basis der optimalen Transporttheorie (OT) vor (die wir OpT-Tune nennen), um effizient Task-Bewusstsein in unser neues end-to-end unüberwachtes Few-Shot-Klassifikationsframework (SAMPTransfer) einzubringen. Unsere umfangreichen experimentellen Ergebnisse bestätigen die Effektivität von SAMPTransfer in verschiedenen Downstream-Few-Shot-Klassifikationsszenarien, wobei es einen neuen Stand der Technik für U-FSL sowohl bei den miniImagenet- als auch bei den tieredImagenet-Benchmarks setzt und Verbesserungen von bis zu 7%+ und 5%+ erreicht. Unsere weiteren Untersuchungen zeigen auch, dass SAMPTransfer mit einigen überwachten Baselines bei miniImagenet gleichauf liegt und alle existierenden U-FSL-Baselines in einer anspruchsvollen Cross-Domain-Situation übertreffen kann. Unser Code ist in unserem GitHub-Repository unter https://github.com/ojss/SAMPTransfer/ verfügbar.