HyperAIHyperAI

Command Palette

Search for a command to run...

Ein genauerer Blick auf Self-training für Zero-Label-Semantische Segmentierung

Giuseppe Pastore Fabio Cermelli Yongqin Xian Massimiliano Mancini Zeynep Akata Barbara Caputo

Zusammenfassung

Die Fähigkeit, bisher nicht beobachtete Klassen zu segmentieren, die während des Trainings nicht vorkamen, stellt eine wichtige technische Herausforderung im Bereich des tiefen Lernens dar, da sie das potenziell kostenaufwändige Annotieren für semantische Segmentierung reduzieren könnte. Vorherige Arbeiten zum Zero-Label-Semantiksegmentierung nähern sich dieser Aufgabe durch das Lernen von visuell-semantischen Embeddings oder generativen Modellen an. Diese Ansätze sind jedoch anfällig für Überanpassung an die gesehenen Klassen, da für diese keine Trainingssignale vorhanden sind. In diesem Paper untersuchen wir die anspruchsvolle Aufgabe der generalisierten Zero-Label-Semantiksegmentierung, bei der das Modell sowohl gesehene als auch nicht gesehene Klassen zur Testzeit segmentieren muss. Wir gehen davon aus, dass Pixel von nicht gesehenen Klassen in den Trainingsbildern vorkommen können, jedoch nicht annotiert sind. Unser Ansatz besteht darin, latente Informationen zu diesen nicht gesehenen Klassen zu erfassen, indem wir das Modell mit selbst erzeugten Pseudolabels für nicht annotierte Pixel überwachen. Wir schlagen einen Konsistenzregularisierer vor, der rauschhafte Pseudolabels durch die Berücksichtigung der Schnittmengen der Pseudolabels, die aus verschiedenen Augmentierungen derselben Bildes generiert wurden, filtert. Unser Framework erzeugt Pseudolabels und trainiert das Modell anschließend erneut mit menschlich annotierten und pseudolabelierten Daten. Dieser Prozess wird über mehrere Iterationen wiederholt. Als Ergebnis erreicht unser Ansatz auf den Datensätzen PascalVOC12 und COCO-stuff die neue State-of-the-Art-Leistung in der anspruchsvollen generalisierten Zero-Label-Semantiksegmentierung, wobei andere bestehende Methoden mit komplexeren Strategien übertroffen werden.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp