HyperAIHyperAI

Command Palette

Search for a command to run...

AllSpark: Wiedergeborene gekennzeichnete Merkmale aus unkenntlichem Material in Transformatoren für halbüberwachte semantische Segmentierung

Haonan Wang; Qixiang Zhang; Yi Li; Xiaomeng Li

Zusammenfassung

Halbüberwachte semantische Segmentierung (SSSS) wurde vorgeschlagen, um die Last zeitaufwendiger manueller Pixel-Level-Beschriftungen zu reduzieren. Dabei werden begrenzte annotierte Daten zusammen mit größeren Mengen an unannotierten Daten genutzt. Aktuelle Stand-der-Technik-Methoden trainieren die annotierten Daten mit Ground Truths und die unannotierten Daten mit Pseudo-Beschriftungen. Allerdings sind diese beiden Trainingsprozesse getrennt, was dazu führt, dass die annotierten Daten den Trainingsprozess dominieren. Dies resultiert in niedriger Qualität der Pseudo-Beschriftungen und letztlich in suboptimalen Ergebnissen. Um dieses Problem zu lindern, präsentieren wir AllSpark, das durch einen kanalweisen Cross-Attention-Mechanismus die annotierten Merkmale aus unannotierten Merkmalen „wiederbelebt“. Wir führen zudem ein Semantisches Gedächtnis sowie eine Kanal-Semantik-Gruppierungsstrategie ein, um sicherzustellen, dass die unannotierten Merkmale die annotierten Merkmale adäquat repräsentieren. AllSpark wirft neues Licht auf architekturbezogene Entwürfe von SSSS anstelle von rahmengestalterischen Entwürfen, was vermieden wird, dass sich die Komplexität der Trainingspipelines ständig erhöht. Es kann auch als flexibles Flaschenhalsmodul angesehen werden, das nahtlos in ein allgemeines transformerbasiertes Segmentierungsmodell integriert werden kann. Das vorgeschlagene AllSpark erzielt ohne zusätzliche Verzierungen bessere Ergebnisse als existierende Methoden bei allen Evaluationsprotokollen auf den Benchmarks Pascal, Cityscapes und COCO. Der Quellcode und die Modellgewichte sind unter folgender URL verfügbar: https://github.com/xmed-lab/AllSpark.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp