HyperAIHyperAI

Command Palette

Search for a command to run...

Saliency-gesteuertes Self-Attention-Netzwerk für schwach- und halbüberwachtes semantisches Segmentieren

Qi Yao Xiaojin Gong

Zusammenfassung

Schwach beschriftete semantische Segmentierung (WSSS) unter Verwendung ausschließlich bilddatenbasierter Labels kann die Anmerkungskosten erheblich reduzieren und hat daher erhebliches Forschungsinteresse geweckt. Allerdings bleibt ihre Leistung noch immer hinter den vollständig beschrifteten Ansätzen zurück. Um diese Leistungslücke zu verringern, schlagen wir ein Aufmerksamkeitsnetzwerk mit Aufmerksamkeitssteuerung durch Aufmerksamkeitsmerkmale (Saliency Guided Self-Attention Network, SGAN) vor, um das WSSS-Problem zu lösen. Die eingeführte Selbst-Aufmerksamkeitsmechanik ist in der Lage, reichhaltige und umfassende Kontextinformationen zu erfassen, kann jedoch die Aufmerksamkeit auch auf unerwünschte Regionen unangemessen ausweiten. Um sicherzustellen, dass dieser Mechanismus auch unter schwacher Aufsicht effektiv funktioniert, integrieren wir klassenunabhängige Aufmerksamkeitsvorwissen in die Selbst-Aufmerksamkeitsmechanik und nutzen klassenspezifische Aufmerksamkeitssignale als zusätzliche Aufsicht für SGAN. Unser SGAN ist in der Lage, dichte und präzise Lokalisierungshinweise zu erzeugen, wodurch die Segmentierungsleistung signifikant gesteigert wird. Darüber hinaus funktioniert SGAN auch effektiv für die halbüberwachte semantische Segmentierung, indem man lediglich die zusätzliche Aufsicht durch teilweise beschriftete Ground-Truth-Labels ersetzt. Experimente auf den Datensätzen PASCAL VOC 2012 und COCO zeigen, dass unser Ansatz sowohl im schwach überwachten als auch im halbüberwachten Szenario alle anderen aktuellen State-of-the-Art-Methoden übertrifft.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Saliency-gesteuertes Self-Attention-Netzwerk für schwach- und halbüberwachtes semantisches Segmentieren | Paper | HyperAI