Motion-Attentive Transition für Zero-Shot Video Object Segmentation

In diesem Paper präsentieren wir ein neuartiges Motion-Attentive Transition Network (MATNet) für die zero-shot Video-Objektsegmentierung, das einen neuen Ansatz zur Nutzung von Bewegungsinformationen bietet, um die räumlich-zeitliche Objektdarstellung zu verstärken. Innerhalb eines zweistrahligen Encoders wird ein asymmetrischer Aufmerksamkeitsblock, der als Motion-Attentive Transition (MAT) bezeichnet wird, entworfen, der die Erscheinungsmerkmale in jeder konvolutionellen Phase in bewegungsorientierte Darstellungen transformiert. Auf diese Weise wird der Encoder tiefgreifend verflochten, wodurch enge hierarchische Wechselwirkungen zwischen Objektbewegung und Erscheinung ermöglicht werden. Dies ist einer typischen Zweistrahlarchitektur überlegen, bei der Bewegung und Erscheinung in jeder Strömung getrennt behandelt werden und häufig einer Überanpassung an Erscheinungsinformationen unterliegen. Zudem wird ein Brücken-Netzwerk vorgeschlagen, das eine kompakte, diskriminative und skalenempfindliche Darstellung für mehrstufige Encoder-Merkmale erzeugt, die anschließend in einen Decoder eingespeist werden, um Segmentierungsergebnisse zu erzielen. Umfangreiche Experimente auf drei anspruchsvollen öffentlichen Benchmarks (nämlich DAVIS-16, FBMS und Youtube-Objects) zeigen, dass unser Modell eine überzeugende Leistung im Vergleich zu den aktuellen State-of-the-Art-Methoden erzielt.