Command Palette
Search for a command to run...
Segmentation géodésique d'objets vidéo sensible à la salience
{Jianbing Shen Fatih Porikli Wenguan Wang}

Résumé
Nous introduisons une méthode non supervisée de segmentation d'objets vidéo saillants basée sur la distance géodésique. Contrairement aux approches traditionnelles, notre méthode intègre la saillance comme information a priori pour l'objet grâce au calcul d'une mesure géodésique robuste. Nous considérons deux caractéristiques visuelles discriminantes : les bords spatiaux et les frontières de mouvement temporel, qui servent d'indicateurs pour localiser les objets en premier plan. Nous générons d'abord des cartes de saillance spatio-temporelles par frame en utilisant la distance géodésique à partir de ces indicateurs. En s'appuyant sur l'observation selon laquelle les régions en premier plan sont entourées de zones présentant des valeurs élevées de bords spatio-temporels, la distance géodésique permet d'obtenir une estimation initiale des régions en premier plan et de fond. Ensuite, des résultats de saillance de haute qualité sont obtenus grâce aux distances géodésiques vers les régions de fond dans les cadres suivants. À partir des cartes de saillance ainsi générées, nous construisons des modèles d'apparence globaux pour les régions en premier plan et de fond. En imposant une continuité du mouvement, nous établissons un modèle dynamique de localisation pour chaque cadre. Enfin, les cartes de saillance spatio-temporelles, les modèles d'apparence et les modèles de localisation dynamique sont combinés dans un cadre d'optimisation par minimisation d'énergie afin d'obtenir une segmentation cohérente à la fois spatialement et temporellement. Des expériences quantitatives et qualitatives étendues sur des jeux de données vidéo standard démontrent l'avantage de la méthode proposée par rapport aux algorithmes de pointe actuels.
Benchmarks
| Benchmark | Méthodologie | Métriques |
|---|---|---|
| video-salient-object-detection-on-davis-2016 | SAGM | AVERAGE MAE: 0.105 MAX E-MEASURE: 0.797 S-Measure: 0.664 |
| video-salient-object-detection-on-davsod | SAGM | Average MAE: 0.187 S-Measure: 0.564 max E-Measure: 0.640 |
| video-salient-object-detection-on-davsod-1 | SAGM | Average MAE: 0.198 S-Measure: 0.543 max E-measure: 0.616 |
| video-salient-object-detection-on-davsod-2 | SAGM | Average MAE: 0.161 S-Measure: 0.560 max E-measure: 0.697 |
| video-salient-object-detection-on-fbms-59 | SAGM | AVERAGE MAE: 0.161 MAX F-MEASURE: 0.564 S-Measure: 0.659 |
| video-salient-object-detection-on-mcl | SAGM | AVERAGE MAE: 0.136 MAX E-MEASURE: 0.745 S-Measure: 0.615 |
| video-salient-object-detection-on-segtrack-v2 | SAGM | AVERAGE MAE: 0.081 S-Measure: 0.719 max E-measure: 0.826 |
| video-salient-object-detection-on-uvsd | SAGM | Average MAE: 0.111 S-Measure: 0.629 max E-measure: 0.755 |
| video-salient-object-detection-on-visal | SAGM | Average MAE: 0.105 S-Measure: 0.749 max E-measure: 0.858 |
| video-salient-object-detection-on-vos-t | SAGM | Average MAE: 0.172 S-Measure: 0.615 max E-measure: 0.664 |
Construire l'IA avec l'IA
De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.