Baby-Schritte in Richtung Few-Shot-Lernen mit mehreren Semantiken

Das Lernen aus einem oder wenigen visuellen Beispielen ist eine der Schlüsselkompetenzen von Menschen seit frühester Kindheit, stellt aber für moderne KI-Systeme immer noch eine erhebliche Herausforderung dar. Obwohl bei dem Few-Shot-Lernen aus wenigen Bildbeispielen erhebliche Fortschritte gemacht wurden, wurde bisher viel weniger Aufmerksamkeit den verbalen Beschreibungen gewidmet, die normalerweise Kleinkindern zur Verfügung gestellt werden, wenn sie mit einem neuen Objekt konfrontiert sind. In dieser Arbeit konzentrieren wir uns auf die Rolle zusätzlicher Semantik, die das Few-Shot-Visuelle Lernen erheblich erleichtern kann. Indem wir auf jüngste Fortschritte im Few-Shot-Lernen mit zusätzlichen semantischen Informationen aufbauen, zeigen wir, dass durch die Kombination mehrerer und reicheren Semantiken (Kategoriebezeichnungen, Attribute und natürlichsprachliche Beschreibungen) weitere Verbesserungen möglich sind. Unter Verwendung dieser Ideen präsentieren wir der Gemeinschaft neue Ergebnisse auf den bekannten Few-Shot-Benchmarks miniImageNet und CUB, wobei unsere Ergebnisse sowohl für rein visuelle Ansätze als auch für Ansätze, die Visuelles und Semantik kombinieren, günstig mit den bisher besten Ergebnissen vergleichbar sind. Zudem haben wir eine Ablationsstudie durchgeführt, um die Komponenten und Designentscheidungen unseres Ansatzes zu untersuchen.