Semantikgesteuertes Kontrastives Netzwerk für Zero-Shot-Objekterkennung

Die Aufgabe der Nullschuss-Objekterkennung (Zero-Shot Object Detection, ZSD), die traditionelle Erkennungsmodelle erweitert, um Objekte aus unbekannten Kategorien zu erkennen, ist als neue Herausforderung im Bereich der Computer Vision hervorgetreten. Die meisten existierenden Ansätze lösen die ZSD-Aufgabe mit einer strengen Abbildungsübertragungsstrategie, die möglicherweise suboptimale ZSD-Ergebnisse führt: 1) der Lernprozess dieser Modelle ignoriert die verfügbare Information über unbekannte Klassen und kann daher leicht auf bekannte Kategorien verzerrt sein; 2) der ursprüngliche visuelle Merkmalsraum ist nicht gut strukturiert und mangelt an diskriminativen Informationen.Um diese Probleme anzugehen, entwickeln wir ein neues Semantik-gesteuertes Kontrastives Netzwerk für ZSD, das ContrastZSD genannt wird. Dieses Erkennungsframework führt erstmals den Mechanismus des kontrastiven Lernens in den Bereich der Nullschuss-Erkennung ein. Insbesondere integriert ContrastZSD zwei semantikgesteuerte kontrastive Unternetze, die jeweils Kontraste zwischen Region-Kategorie- und Region-Region-Paaren herstellen. Die paarweisen kontrastiven Aufgaben nutzen zusätzliche Überwachungssignale, die sowohl aus den Ground-Truth-Labels als auch aus vordefinierten Klassengleichverteilungen abgeleitet werden. Unter der Anleitung dieser expliziten semantischen Überwachung kann das Modell mehr Wissen über unbekannte Kategorien lernen, um das Verzerrungsproblem bei bekannten Konzepten zu vermeiden und gleichzeitig die Datenstruktur der visuellen Merkmale zu optimieren, sodass sie für eine bessere visuelle-semantische Ausrichtung diskriminativer wird.Ausführliche Experimente wurden auf zwei gängigen Benchmarks für ZSD durchgeführt, nämlich PASCAL VOC und MS COCO. Die Ergebnisse zeigen, dass unsere Methode sowohl in den ZSD- als auch in den generalisierten ZSD-Aufgaben den bisherigen Stand der Technik übertreffen kann.