Ein tieferer Blick auf die Co-Salient Object Detection

Die Co-saliente Objektdetektion (CoSOD) ist ein neu entstehender und rasch wachsender Bereich der salienten Objektdetektion (SOD), der darauf abzielt, gemeinsam auftretende saliente Objekte in mehreren Bildern zu erkennen. Allerdings weisen bestehende CoSOD-Datensätze oft eine erhebliche Datenverzerrung auf, da angenommen wird, dass jede Bildgruppe saliente Objekte mit ähnlichen visuellen Erscheinungsbildern enthält. Diese Verzerrung beeinträchtigt die Idealbedingungen und die Effektivität von Modellen, die auf bestehenden Datensätzen trainiert wurden, insbesondere in realen Anwendungsszenarien, in denen die Ähnlichkeit vielfach semantischer oder konzeptioneller Natur ist. Um dieses Problem anzugehen, sammeln wir zunächst einen neuen hochwertigen Datensatz namens CoSOD3k, der 3.316 Bilder in 160 Gruppen umfasst und mehrstufige Annotationen – nämlich Kategorie, Bounding Box, Objekt und Instanz – enthält. CoSOD3k stellt einen bedeutenden Fortschritt hinsichtlich Vielfalt, Schwierigkeitsgrad und Skalierbarkeit dar und trägt somit maßgeblich zu verwandten visuellen Aufgaben bei. Darüber hinaus fassen wir umfassend 34 fortschrittliche Algorithmen zusammen und benchmarken 19 von ihnen anhand von vier bestehenden CoSOD-Datensätzen (MSRC, iCoSeg, Image Pair und CoSal2015) sowie unserem CoSOD3k mit insgesamt 61.000 Bildern (größter Umfang) und präsentieren eine detaillierte gruppenbasierte Leistungsanalyse. Schließlich diskutieren wir die aktuellen Herausforderungen und zukünftigen Forschungsrichtungen im Bereich CoSOD. Unsere Studie wird einen starken Impuls für die Entwicklung der CoSOD-Community geben. Der Benchmark-Toolbox und die Ergebnisse sind auf unserer Projektseite verfügbar.