DHR: Dual Features-geführte hierarchische Neuausbalancierung in inter- und intra-klassischen Regionen für schwach überwachte semantische Segmentierung

Schwach überwachte semantische Segmentierung (WSS) gewährleistet eine hochwertige Segmentierung bei begrenzten Daten und zeichnet sich besonders dadurch aus, dass sie als Eingabe-Samensemasken für große visuelle Modelle wie Segment Anything eingesetzt werden kann. Allerdings steht WSS vor Herausforderungen im Zusammenhang mit Minderheitsklassen, da diese in Bildern mit benachbarten mehreren Klassen übersehen werden, was auf das Überfitting traditioneller Expansionsmethoden wie Random Walk zurückzuführen ist. Wir adressieren dieses Problem zunächst durch die Verwendung unüberwachter und schwach überwachter Merkmalskarten anstelle konventioneller Methodologien, was eine hierarchische Maskenverbesserung ermöglicht. Diese Methode klassifiziert zunächst die höherstufigen Klassen und trennt anschließend deren zugehörige niedrigstufige Klassen, um sicherzustellen, dass alle Klassen in der Maske korrekt wiederhergestellt werden, ohne dabei Minderheitsklassen zu verlieren. Unser Ansatz wurde durch umfangreiche Experimente validiert und verbessert die WSS erheblich auf fünf Benchmarks (VOC: 79,8\%, COCO: 53,9\%, Context: 49,0\%, ADE: 32,9\%, Stuff: 37,4\%), wobei der Abstand zu vollständig überwachten Methoden im Validierungsdatensatz von VOC um mehr als 84\% reduziert wird. Der Quellcode ist unter https://github.com/shjo-april/DHR verfügbar.