Attributbasiertes Prototypen-Netzwerk für Any-Shot-Lernen

Any-Shot-Bildklassifizierung ermöglicht die Erkennung neuer Klassen mit nur wenigen oder sogar null Beispielen. Bei der Aufgabe des Zero-Shot-Learnings wurde gezeigt, dass visuelle Attribute eine wichtige Rolle spielen, während ihre Auswirkungen im Few-Shot-Regime noch untererforscht sind. Um das attributbasierte Wissen besser von bekannten zu unbekannten Klassen zu übertragen, argumentieren wir, dass eine Bildrepräsentation mit integrierter Attributlokalisierungsfähigkeit für Any-Shot-Aufgaben, d.h. Zero-Shot und Few-Shot-Bildklassifizierungen, vorteilhaft sein würde. Zu diesem Zweck schlagen wir ein neuartiges Repräsentationslernframework vor, das diskriminative globale und lokale Merkmale ausschließlich durch Klassebene-Attribute gemeinsam lernt. Während eine visuell-semantische Einbettungsschicht globale Merkmale lernt, werden lokale Merkmale durch ein Attributprototypen-Netzwerk gelernt, das gleichzeitig Attribute aus den Zwischenmerkmalen regressiert und entkorreliert. Des Weiteren führen wir ein Zoom-In-Modul ein, das informative Bereiche lokalisieren und zuschneiden soll, um das Netzwerk dazu anzuregen, explizit informative Merkmale zu lernen. Wir zeigen, dass unsere lokalitätsverstärkten Bildrepräsentationen einen neuen Stand der Technik auf anspruchsvollen Benchmarks erzielen, nämlich CUB, AWA2 und SUN. Als zusätzlicher Vorteil deutet unser Modell auf die visuellen Beweise der Attribute in einem Bild hin, was die verbesserte Lokalisierungsfähigkeit unserer Bildrepräsentation bestätigt. Die Attributlokalisierung wird quantitativ mit Ground-Truth-Teilannotations bewertet, qualitativ mit Visualisierungen und durch sorgfältig gestaltete Nutzerstudien.请注意，这里将“任何样本数”翻译为“Any-Shot”，这是该领域的通用术语。其他专业术语如“Bildklassifizierung”（图像分类）、“Zero-Shot-Learning”（零样本学习）、“Few-Shot-Learning”（小样本学习）、“visuelle Attribute”（视觉属性）等也采用了通用译法。此外，“Zoom-In-Modul”和“Attributprototypen-Netzwerk”是根据上下文翻译的，以保持专业性和准确性。