HyperAIHyperAI

Command Palette

Search for a command to run...

il y a 4 mois

Segmentation géodésique d'objets vidéo sensible à la salience

{Jianbing Shen Fatih Porikli Wenguan Wang}

Segmentation géodésique d'objets vidéo sensible à la salience

Résumé

Nous introduisons une méthode non supervisée de segmentation d'objets vidéo saillants basée sur la distance géodésique. Contrairement aux approches traditionnelles, notre méthode intègre la saillance comme information a priori pour l'objet grâce au calcul d'une mesure géodésique robuste. Nous considérons deux caractéristiques visuelles discriminantes : les bords spatiaux et les frontières de mouvement temporel, qui servent d'indicateurs pour localiser les objets en premier plan. Nous générons d'abord des cartes de saillance spatio-temporelles par frame en utilisant la distance géodésique à partir de ces indicateurs. En s'appuyant sur l'observation selon laquelle les régions en premier plan sont entourées de zones présentant des valeurs élevées de bords spatio-temporels, la distance géodésique permet d'obtenir une estimation initiale des régions en premier plan et de fond. Ensuite, des résultats de saillance de haute qualité sont obtenus grâce aux distances géodésiques vers les régions de fond dans les cadres suivants. À partir des cartes de saillance ainsi générées, nous construisons des modèles d'apparence globaux pour les régions en premier plan et de fond. En imposant une continuité du mouvement, nous établissons un modèle dynamique de localisation pour chaque cadre. Enfin, les cartes de saillance spatio-temporelles, les modèles d'apparence et les modèles de localisation dynamique sont combinés dans un cadre d'optimisation par minimisation d'énergie afin d'obtenir une segmentation cohérente à la fois spatialement et temporellement. Des expériences quantitatives et qualitatives étendues sur des jeux de données vidéo standard démontrent l'avantage de la méthode proposée par rapport aux algorithmes de pointe actuels.

Benchmarks

BenchmarkMéthodologieMétriques
video-salient-object-detection-on-davis-2016SAGM
AVERAGE MAE: 0.105
MAX E-MEASURE: 0.797
S-Measure: 0.664
video-salient-object-detection-on-davsodSAGM
Average MAE: 0.187
S-Measure: 0.564
max E-Measure: 0.640
video-salient-object-detection-on-davsod-1SAGM
Average MAE: 0.198
S-Measure: 0.543
max E-measure: 0.616
video-salient-object-detection-on-davsod-2SAGM
Average MAE: 0.161
S-Measure: 0.560
max E-measure: 0.697
video-salient-object-detection-on-fbms-59SAGM
AVERAGE MAE: 0.161
MAX F-MEASURE: 0.564
S-Measure: 0.659
video-salient-object-detection-on-mclSAGM
AVERAGE MAE: 0.136
MAX E-MEASURE: 0.745
S-Measure: 0.615
video-salient-object-detection-on-segtrack-v2SAGM
AVERAGE MAE: 0.081
S-Measure: 0.719
max E-measure: 0.826
video-salient-object-detection-on-uvsdSAGM
Average MAE: 0.111
S-Measure: 0.629
max E-measure: 0.755
video-salient-object-detection-on-visalSAGM
Average MAE: 0.105
S-Measure: 0.749
max E-measure: 0.858
video-salient-object-detection-on-vos-tSAGM
Average MAE: 0.172
S-Measure: 0.615
max E-measure: 0.664

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Segmentation géodésique d'objets vidéo sensible à la salience | Articles de recherche | HyperAI