AllSpark: Wiedergeborene gekennzeichnete Merkmale aus unkenntlichem Material in Transformatoren für halbüberwachte semantische Segmentierung

Halbüberwachte semantische Segmentierung (SSSS) wurde vorgeschlagen, um die Last zeitaufwendiger manueller Pixel-Level-Beschriftungen zu reduzieren. Dabei werden begrenzte annotierte Daten zusammen mit größeren Mengen an unannotierten Daten genutzt. Aktuelle Stand-der-Technik-Methoden trainieren die annotierten Daten mit Ground Truths und die unannotierten Daten mit Pseudo-Beschriftungen. Allerdings sind diese beiden Trainingsprozesse getrennt, was dazu führt, dass die annotierten Daten den Trainingsprozess dominieren. Dies resultiert in niedriger Qualität der Pseudo-Beschriftungen und letztlich in suboptimalen Ergebnissen. Um dieses Problem zu lindern, präsentieren wir AllSpark, das durch einen kanalweisen Cross-Attention-Mechanismus die annotierten Merkmale aus unannotierten Merkmalen „wiederbelebt“. Wir führen zudem ein Semantisches Gedächtnis sowie eine Kanal-Semantik-Gruppierungsstrategie ein, um sicherzustellen, dass die unannotierten Merkmale die annotierten Merkmale adäquat repräsentieren. AllSpark wirft neues Licht auf architekturbezogene Entwürfe von SSSS anstelle von rahmengestalterischen Entwürfen, was vermieden wird, dass sich die Komplexität der Trainingspipelines ständig erhöht. Es kann auch als flexibles Flaschenhalsmodul angesehen werden, das nahtlos in ein allgemeines transformerbasiertes Segmentierungsmodell integriert werden kann. Das vorgeschlagene AllSpark erzielt ohne zusätzliche Verzierungen bessere Ergebnisse als existierende Methoden bei allen Evaluationsprotokollen auf den Benchmarks Pascal, Cityscapes und COCO. Der Quellcode und die Modellgewichte sind unter folgender URL verfügbar: https://github.com/xmed-lab/AllSpark.