Unüberwachte Erkennung von auffälligen Objekten durch Spektralclusterabstimmung

In dieser Arbeit befassen wir uns mit der anspruchsvollen Aufgabe der unüberwachten Detektion von prominenten Objekten (SOD), indem wir spektrale Clustering-Methoden auf selbstüberwachten Merkmalsdarstellungen anwenden. Unsere Beiträge sind wie folgt:(i) Wir beleuchten das Verfahren des spektralen Clusterings neu und zeigen dessen Potenzial zur Gruppierung der Pixel von prominenten Objekten auf;(ii) Unter Berücksichtigung von Maskenvorschlägen, die durch mehrfache Anwendungen des spektralen Clusterings auf Bildmerkmale aus verschiedenen selbstüberwachten Modellen, z.B. MoCov2, SwAV, DINO, generiert werden, schlagen wir einen einfachen aber effektiven "Winner-Takes-All"-Wahlsmechanismus vor, um die prominenten Masken auszuwählen. Dabei nutzen wir Objektpriorisierungen basierend auf Rahmenbedingungen und Auffälligkeit;(iii) Indem wir die ausgewählte Objektsegmentierung als Pseudo-Ground-Truth-Masken verwenden, trainieren wir einen Detector für prominente Objekte, den wir SelfMask nennen. Dieser übertrifft frühere Ansätze in drei Benchmarks für unüberwachte SOD. Der Quellcode ist öffentlich verfügbar unter https://github.com/NoelShin/selfmask.