Schnelle benutzergeführte Videoobjektsegmentierung durch Interaktions- und Propagationsnetzwerke

Wir präsentieren eine Tiefenlernmethode für die interaktive Videoobjektsegmentierung. Unser Verfahren basiert auf zwei Kernoperationen: Interaktion und Propagation, wobei jede Operation durch Faltungsneuronale Netze (Convolutional Neural Networks) durchgeführt wird. Die beiden Netze sind sowohl intern als auch extern miteinander verbunden, sodass sie gemeinsam trainiert werden und sich gegenseitig unterstützen, um das komplexe Problem der Videoobjektsegmentierung zu lösen. Wir schlagen ein neues Mehrfach-Trainingsverfahren für die interaktive Videoobjektsegmentierung vor, damit die Netze lernen können, die Absichten des Benutzers zu verstehen und fehlerhafte Schätzungen während des Trainings zu korrigieren. Bei der Testphase erzeugt unsere Methode hochwertige Ergebnisse und läuft zudem schnell genug, um interaktiv mit Benutzern zusammenzuarbeiten. Wir haben die vorgeschlagene Methode quantitativ am Benchmark für den interaktiven Track des DAVIS-Challenges 2018 evaluiert. In Bezug auf Geschwindigkeit und Genauigkeit übertreffen wir andere vergleichbare Methoden deutlich. Darüber hinaus haben wir gezeigt, dass unsere Methode gut mit echten Benutzerinteraktionen funktioniert.