HyperAIHyperAI

Command Palette

Search for a command to run...

CNN in MRF: Videoobjektsegmentierung durch Inferenz in einem CNN-basierten höheren Ordnungsraum-zeitlichen MRF

Linchao Bao Baoyuan Wu Wei Liu

Zusammenfassung

Dieses Papier behandelt das Problem der Videoobjektssegmentierung, bei dem die anfängliche Objektmaske im ersten Frame des Eingabevideos gegeben ist. Wir schlagen ein neues räumlich-zeitliches Markov-Random-Field (MRF)-Modell vor, das über Pixel definiert ist, um dieses Problem zu lösen. Im Gegensatz zu konventionellen MRF-Modellen werden in unserem Modell die räumlichen Abhängigkeiten zwischen den Pixeln durch ein Faltungsneuronales Netz (Convolutional Neural Network, CNN) kodiert. Insbesondere kann für ein gegebenes Objekt die Wahrscheinlichkeit einer Beschriftung eines Satzes von räumlich benachbarten Pixeln durch ein speziell für dieses Objekt trainiertes CNN vorhergesagt werden. Dadurch können höhere Ordnungen und reichere Abhängigkeiten zwischen den Pixeln im Satz implizit vom CNN modelliert werden. Durch die mit optischem Fluss etablierten zeitlichen Abhängigkeiten kombiniert das resultierende MRF-Modell sowohl räumliche als auch zeitliche Hinweise zur Bewältigung der Videoobjektssegmentierung. Allerdings ist die Inferenz im MRF-Modell aufgrund der sehr hochdimensionalen Abhängigkeiten äußerst schwierig. Zu diesem Zweck schlagen wir einen neuen Algorithmus vor, der eine approximative Inferenz im MRF durchführt und in den ein CNN eingebettet ist. Dieser Algorithmus wechselt abwechselnd zwischen einem Schritt der zeitlichen Fusion und einem Schritt des feedforward-CNNs. Wenn unser Modell mit einem auf Erscheinungsbasierten One-Shot-Segmentierungs-CNN initialisiert wird, übertreffen unsere Ergebnisse die Gewinnerbeiträge des DAVIS 2017 Challenges, ohne auf Modellensembles oder spezielle Detektoren zurückzugreifen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp