Vielfalt hilft: Unüberwachtes Few-Shot-Lernen durch datenbasierte Verteilungsschichtaugmentierung

Das Few-Shot-Lernen strebt danach, ein neues Konzept zu erlernen, wenn nur wenige Trainingsbeispiele zur Verfügung stehen. Dieses Gebiet wurde in den letzten Jahren intensiv erforscht. Dennoch basieren die meisten aktuellen Arbeiten stark auf einem umfangreichen, annotierten Hilfssatz, um ihre Modelle im episodischen Trainierungsparadigma zu trainieren. Eine solche Art der überwachten Einstellung begrenzt im Grunde die weitreichende Anwendung von Few-Shot-Lernalgorithmen. Im Gegensatz dazu entwickeln wir in dieser Arbeit einen neuen Ansatz namens Unüberwachtes Few-Shot-Lernen durch datenverteilungsbasierte Datenverstärkung (ULDA), der sich auf die Verteilungsvielfalt innerhalb jeder konstruierten Vorwand-Few-Shot-Aufgabe konzentriert, wenn Datenverstärkung verwendet wird. Besonders betonen wir den Wert und die Bedeutung der Verteilungsvielfalt in den auf Datenverstärkung basierenden Vorwand-Few-Shot-Aufgaben, da sie das Problem des Überanpassens effektiv lindern kann und das Few-Shot-Modell robuster Merkmalsrepräsentationen erlernen lässt. In ULDA untersuchen wir systematisch die Auswirkungen verschiedener Verstärkungstechniken und schlagen vor, die Verteilungsvielfalt (oder -unterschiede) zwischen Abfrage- und Stützdatensatz in jeder Few-Shot-Aufgabe zu erhöhen, indem diese beiden Sätze unterschiedlich verstärkt werden (d.h., durch Verteilungsverschiebung). Auf diese Weise kann unser ULDA sogar mit einfachen Verstärkungstechniken (z.B., zufälliges Zuschneiden, Farbvariation oder Rotation) eine signifikante Verbesserung erzielen. In den Experimenten erreichen Few-Shot-Modelle, die mit ULDA gelernt wurden, eine überlegene Generalisierungsfähigkeit und erzielen Stand-der-Technik-Ergebnisse bei einer Vielzahl etablierter Few-Shot-Lernaufgaben sowohl auf Omniglot als auch auf miniImageNet. Der Quellcode ist unter https://github.com/WonderSeven/ULDA verfügbar.