Meta-Datensatz: Ein Datensatz von Datensätzen zum Lernen aus wenigen Beispielen

Die Few-Shot-Klassifikation bezieht sich auf das Lernen eines Klassifizierers für neue Klassen, bei denen nur wenige Beispiele vorliegen. Obwohl eine Vielzahl von Modellen entwickelt wurden, um dieses Problem anzugehen, stellen wir fest, dass die Verfahren und Datensätze, die zur Bewertung ihres Fortschritts verwendet werden, unzureichend sind. Um diese Einschränkung zu überwinden, schlagen wir Meta-Dataset vor: einen neuen Benchmark für das Training und die Evaluierung von Modellen, der groß angelegt ist, aus vielfältigen Datensätzen besteht und realistischere Aufgaben präsentiert. Wir führen Experimente mit gängigen Baselines und Meta-Learnern auf Meta-Dataset durch sowie mit einer von uns vorgeschlagenen wettbewerbsfähigen Methode. Wir analysieren die Leistung in Abhängigkeit von verschiedenen Merkmalen der Testaufgaben und untersuchen die Fähigkeit der Modelle, vielfältige Trainingsquellen zu nutzen, um ihre Generalisierungsfähigkeit zu verbessern. Darüber hinaus schlagen wir ein neues Set von Baselines vor, um den Nutzen des Meta-Learnings in Meta-Dataset zu quantifizieren. Unsere umfangreichen Experimente haben wichtige Forschungsherausforderungen aufgedeckt, und wir hoffen, dadurch Arbeiten in diese Richtungen anzuregen.