CNN in MRF: Videoobjektsegmentierung durch Inferenz in einem CNN-basierten höheren Ordnungsraum-zeitlichen MRF

Dieses Papier behandelt das Problem der Videoobjektssegmentierung, bei dem die anfängliche Objektmaske im ersten Frame des Eingabevideos gegeben ist. Wir schlagen ein neues räumlich-zeitliches Markov-Random-Field (MRF)-Modell vor, das über Pixel definiert ist, um dieses Problem zu lösen. Im Gegensatz zu konventionellen MRF-Modellen werden in unserem Modell die räumlichen Abhängigkeiten zwischen den Pixeln durch ein Faltungsneuronales Netz (Convolutional Neural Network, CNN) kodiert. Insbesondere kann für ein gegebenes Objekt die Wahrscheinlichkeit einer Beschriftung eines Satzes von räumlich benachbarten Pixeln durch ein speziell für dieses Objekt trainiertes CNN vorhergesagt werden. Dadurch können höhere Ordnungen und reichere Abhängigkeiten zwischen den Pixeln im Satz implizit vom CNN modelliert werden. Durch die mit optischem Fluss etablierten zeitlichen Abhängigkeiten kombiniert das resultierende MRF-Modell sowohl räumliche als auch zeitliche Hinweise zur Bewältigung der Videoobjektssegmentierung. Allerdings ist die Inferenz im MRF-Modell aufgrund der sehr hochdimensionalen Abhängigkeiten äußerst schwierig. Zu diesem Zweck schlagen wir einen neuen Algorithmus vor, der eine approximative Inferenz im MRF durchführt und in den ein CNN eingebettet ist. Dieser Algorithmus wechselt abwechselnd zwischen einem Schritt der zeitlichen Fusion und einem Schritt des feedforward-CNNs. Wenn unser Modell mit einem auf Erscheinungsbasierten One-Shot-Segmentierungs-CNN initialisiert wird, übertreffen unsere Ergebnisse die Gewinnerbeiträge des DAVIS 2017 Challenges, ohne auf Modellensembles oder spezielle Detektoren zurückzugreifen.