Selbstüberwachung kann ein guter Few-Shot-Lerner sein.

Bestehende Few-Shot-Lernmethoden (FSL) basieren auf der Ausbildung mit einem großen annotierten Datensatz, was es ihnen verhindert, die reichlich vorhandenen unannotierten Daten zu nutzen. Aus informations-theoretischer Sicht schlagen wir eine effektive unsupervisierte FSL-Methode vor, die durch Selbstüberwachung Darstellungen lernt. Gemäß dem InfoMax-Prinzip lernt unsere Methode umfassende Darstellungen, indem sie die intrinsische Struktur der Daten erfasst. Insbesondere maximieren wir die gegenseitige Information (MI) von Instanzen und ihren Darstellungen mit einem low-bias MI-Schätzer, um das selbstüberwachte Vortraining durchzuführen. Im Gegensatz zum supervisierten Vortraining, das sich auf die unterscheidbaren Merkmale der gesehenen Klassen konzentriert, hat unser selbstüberwachtes Modell weniger Bias gegenüber den gesehenen Klassen, was zu einer besseren Generalisierung für ungesehene Klassen führt. Wir erläutern, dass supervisiertes Vortraining und selbstüberwachtes Vortraining tatsächlich unterschiedliche MI-Ziele maximieren. Umfangreiche Experimente wurden durchgeführt, um ihre FSL-Leistung bei verschiedenen Trainingsbedingungen zu analysieren. Überraschenderweise zeigen die Ergebnisse, dass das selbstüberwachte Vortraining unter geeigneten Bedingungen das supervisierte Vortraining übertrifft. Verglichen mit den neuesten FSL-Methoden erreicht unser Ansatz vergleichbare Leistungen auf weit verbreiteten FSL-Benchmarks ohne irgendeine Annotation der Basisklassen.