HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Saliency-Aware geodätische Video-Objektsegmentierung

{Jianbing Shen Fatih Porikli Wenguan Wang}

Saliency-Aware geodätische Video-Objektsegmentierung

Abstract

Wir stellen eine unsupervisierte, auf geodätischen Abständen basierende Methode zur Segmentierung auffälliger Objekte in Videos vor. Im Gegensatz zu herkömmlichen Ansätzen integriert unsere Methode die Auffälligkeit als Vorwissen für Objekte durch die Berechnung eines robusten geodätischen Maßes. Wir berücksichtigen zwei diskriminative visuelle Merkmale: räumliche Kanten und zeitliche Bewegungsgrenzen, die als Indikatoren für die Lage von Vordergrundobjekten dienen. Zunächst generieren wir frameweise spatiotemporale Auffälligkeitskarten mittels geodätischer Distanz basierend auf diesen Indikatoren. Aus der Beobachtung, dass Vordergrundgebiete von Regionen mit hohen spatiotemporalen Kantenwerten umgeben sind, liefert die geodätische Distanz eine erste Schätzung für Vordergrund und Hintergrund. Anschließend werden hochwertige Auffälligkeitsresultate durch die geodätischen Distanzen zu Hintergrundregionen in nachfolgenden Frames erzeugt. Auf Basis der resultierenden Auffälligkeitskarten werden globale Erscheinungsmodelle für Vordergrund und Hintergrund aufgebaut. Unter Berücksichtigung der Bewegungsstetigkeit wird für jeden Frame ein dynamisches Ortsmodell etabliert. Schließlich werden die spatiotemporalen Auffälligkeitskarten, die Erscheinungsmodelle und die dynamischen Ortsmodelle in einen Energie-Minimierungsrahmen integriert, um sowohl räumlich als auch zeitlich konsistente Objektsegmentierungen zu erreichen. Umfangreiche quantitative und qualitative Experimente auf Standard-Datensätzen für Videos belegen die Überlegenheit des vorgeschlagenen Ansatzes gegenüber den aktuell besten Algorithmen.

Benchmarks

BenchmarkMethodikMetriken
video-salient-object-detection-on-davis-2016SAGM
AVERAGE MAE: 0.105
MAX E-MEASURE: 0.797
S-Measure: 0.664
video-salient-object-detection-on-davsodSAGM
Average MAE: 0.187
S-Measure: 0.564
max E-Measure: 0.640
video-salient-object-detection-on-davsod-1SAGM
Average MAE: 0.198
S-Measure: 0.543
max E-measure: 0.616
video-salient-object-detection-on-davsod-2SAGM
Average MAE: 0.161
S-Measure: 0.560
max E-measure: 0.697
video-salient-object-detection-on-fbms-59SAGM
AVERAGE MAE: 0.161
MAX F-MEASURE: 0.564
S-Measure: 0.659
video-salient-object-detection-on-mclSAGM
AVERAGE MAE: 0.136
MAX E-MEASURE: 0.745
S-Measure: 0.615
video-salient-object-detection-on-segtrack-v2SAGM
AVERAGE MAE: 0.081
S-Measure: 0.719
max E-measure: 0.826
video-salient-object-detection-on-uvsdSAGM
Average MAE: 0.111
S-Measure: 0.629
max E-measure: 0.755
video-salient-object-detection-on-visalSAGM
Average MAE: 0.105
S-Measure: 0.749
max E-measure: 0.858
video-salient-object-detection-on-vos-tSAGM
Average MAE: 0.172
S-Measure: 0.615
max E-measure: 0.664

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Saliency-Aware geodätische Video-Objektsegmentierung | Forschungsarbeiten | HyperAI