Mehrstufiges Few-Shot-Lernen zweiter Ordnung

Wir schlagen ein mehrstufiges zweiter-Ordnungs (MlSo) Few-Shot-Lernnetzwerk vor, das für überwachte und unüberwachte Few-Shot-Bildklassifizierung sowie Few-Shot-Aktionserkennung geeignet ist. Wir nutzen sogenannte potenznormierte zweiter-Ordnungs Grundlernerströme in Kombination mit Merkmalen, die verschiedene Ebenen visueller Abstraktion ausdrücken, und setzen selbstüberwachte Diskriminierungsmechanismen ein. Da Zweiter-Ordnungs-Pooling (SoP) in der Bilderkennung weit verbreitet ist, verwenden wir seine grundlegende elementweise Variante in unserem Pipeline. Das Ziel des mehrstufigen Merkmalsdesigns besteht darin, Merkmalsrepräsentationen auf verschiedenen Schichtebenen des CNN zu extrahieren, um mehrere Ebenen visueller Abstraktion zu realisieren und robustes Few-Shot-Lernen zu erreichen. Da SoP räumlich unterschiedliche Größen von Faltungsmerkmalskarten verarbeiten kann, führen wir auch Bilder mit mehreren räumlichen Skalen in MlSo ein. Um die diskriminierenden Informationen aus den mehrstufigen und multiskaligen Merkmalen zu nutzen, entwickeln wir ein Feature-Matching-Modul (FM), das die jeweiligen Zweige neu gewichtet. Zudem führen wir einen selbstüberwachten Schritt ein, der als Diskriminator der räumlichen Ebene und der Skala der Abstraktion dient. Unser Pipeline wird end-to-end trainiert. Mit einer einfachen Architektur zeigen wir respektable Ergebnisse auf Standarddatensätzen wie Omniglot, mini-ImageNet, tiered-ImageNet, Open MIC sowie auf feinkörnigen Datensätzen wie CUB Birds, Stanford Dogs und Cars und auf Aktionserkennungsdatensätzen wie HMDB51, UCF101 und mini-MIT.