Genauigkeit zählt: Genauigkeitsbewusstes Ensemble für schwach überwachte semantische Segmentierung

Schwach überwachte semantische Segmentierung (WSSS) nutzt schwache Überwachung, wie z.B. bildbasierte Labels, um das Segmentierungsmodell zu trainieren. Trotz der beeindruckenden Ergebnisse neuerer WSSS-Methoden haben wir festgestellt, dass die Einführung von schwachen Labels mit hohem mittlerem Durchschnittswert des Schnitts der Vereinigung (mIoU) nicht zwangsläufig eine hohe Segmentierungsleistung garantiert. Bestehende Studien haben die Bedeutung von Präzisionssteigerungen und Rauschreduzierung zur Verbesserung der Gesamtleistung betont. In diesem Sinne schlagen wir ORANDNet vor, einen fortschrittlichen Ensemble-Ansatz, der speziell für WSSS entwickelt wurde. ORANDNet kombiniert Klassenaktivierungskarten (CAMs) aus zwei verschiedenen Klassifizierern, um die Präzision von Pseudo-Masken (PMs) zu erhöhen. Um kleines Rauschen in den PMs weiter zu reduzieren, integrieren wir Curriculum Learning. Dies beinhaltet das anfängliche Training des Segmentierungsmodells mit Bild-Pseudo-Maske-Paaren kleinerer Größe und den allmählichen Übergang zu Paaren der ursprünglichen Größe. Durch die Kombination der ursprünglichen CAMs von ResNet-50 und ViT verbessern wir die Segmentierungsleistung erheblich im Vergleich zum besten einzelnen Modell und dem naiven Ensemble-Modell. Wir erweitern unsere Ensemble-Methode weiter auf CAMs aus AMN (ResNet-ähnlich) und MCTformer (ViT-ähnlich) Modellen, wodurch Leistungsverbesserungen in fortgeschrittenen WSSS-Modellen erreicht werden. Dies unterstreicht das Potenzial unseres ORANDNet als abschließendes Zusatzmodul für WSSS-Modelle.