Gradient-induzierte Co-Salienz-Erkennung

Die Co-Saliency-Erkennung (Co-SOD) hat das Ziel, den gemeinsamen auffälligen Vordergrund in einer Gruppe relevanter Bilder zu segmentieren. In dieser Arbeit, inspiriert von menschlichem Verhalten, schlagen wir eine gradienteninduzierte Co-Saliency-Erkennungsmethode (GICD) vor. Zunächst abstrahieren wir eine Konsensrepräsentation für die gruppierten Bilder im Einbettungsraum; danach nutzen wir durch den Vergleich eines einzelnen Bildes mit der Konsensrepräsentation die Rückkopplungsgradienteninformation, um mehr Aufmerksamkeit auf die diskriminierenden Co-Salient-Features zu lenken. Darüber hinaus, aufgrund des Mangels an Trainingsdaten für Co-SOD, entwickeln wir eine Jigsaw-Trainingsstrategie, mit der Co-SOD-Netzwerke auf allgemeinen Saliency-Datensätzen ohne zusätzliche pixelbasierte Annotationen trainiert werden können. Um die Leistungsfähigkeit von Co-SOD-Methoden bei der Identifikation des Co-Salient-Objekts unter mehreren Vordergründen zu bewerten, konstruieren wir einen anspruchsvollen CoCA-Datensatz, bei dem jedes Bild mindestens einen fremden Vordergrund neben dem Co-Salient-Objekt enthält. Experimente zeigen, dass unser GICD den Stand der Technik erreicht. Unsere Codes und Datensätze sind unter https://mmcheng.net/gicd/ verfügbar.