Duales Prototypen-Attention-Modell für die unüberwachte Segmentierung von Videoobjekten

Die unüberwachte Video-Objekt-Segmentierung (VOS) hat das Ziel, das auffälligste Objekt in Videos zu erkennen und zu segmentieren. Die wichtigsten Techniken, die bei der unüberwachten VOS eingesetzt werden, sind 1) die Zusammenarbeit von Erscheinungs- und Bewegungsinformationen; und 2) die zeitliche Fusion zwischen verschiedenen Frames. In dieser Arbeit werden zwei innovative prototypbasierte Aufmerksamkeitsmechanismen vorgeschlagen: der intermodale Aufmerksamkeitsmechanismus (IMA) und der interframentale Aufmerksamkeitsmechanismus (IFA). Diese Mechanismen integrieren diese Techniken durch dichte Propagation über verschiedene Modalitäten und Frames. IMA verbindet Kontextinformationen aus verschiedenen Modalitäten dicht miteinander auf Basis gegenseitiger Verfeinerung. IFA injiziert den globalen Kontext eines Videos in den Abfrageframe, was eine vollständige Nutzung nützlicher Eigenschaften aus mehreren Frames ermöglicht. Experimentelle Ergebnisse auf öffentlichen Benchmark-Datensätzen zeigen, dass unser vorgeschlagener Ansatz alle existierenden Methoden deutlich übertrifft. Die beiden vorgeschlagenen Komponenten wurden auch durch eine ablativen Studie gründlich validiert.