Command Palette
Search for a command to run...
Apprentissage des associations sémantiques pour la détection des miroirs
Apprentissage des associations sémantiques pour la détection des miroirs
Rynson W.H. Lau Jiaying Lin Huankang Guan
Résumé
Les miroirs présentent généralement une apparence visuelle peu cohérente, ce qui rend leur détection particulièrement difficile. Bien que les travaux récents fondés sur l’exploitation des contrastes contextuels et des relations correspondantes aient obtenu de bons résultats, une dépendance excessive à ces contrastes et relations tend à échouer dans des scènes réelles complexes, où de nombreux objets — par exemple des portes ou des encadrements de fenêtres — peuvent présenter des caractéristiques similaires à celles d’un miroir. Nous observons que les humains ont tendance à placer les miroirs par rapport à certains objets pour des raisons fonctionnelles spécifiques, par exemple un miroir au-dessus du lavabo. Inspirés par cette observation, nous proposons un modèle exploitant les associations sémantiques entre le miroir et ses objets environnants afin d’assurer une localisation fiable des miroirs. Notre modèle acquiert d’abord des connaissances spécifiques aux classes des objets environnants via un chemin secondaire sémantique. Il utilise ensuite deux modules novateurs pour exploiter ces associations sémantiques : 1) un module d’Exploration des Associations (AE), qui extrait les associations entre les objets scéniques à l’aide de modèles de graphes entièrement connectés, et 2) un module de Graphes Quadruples (QG), qui favorise la diffusion et l’agrégation des connaissances d’association sémantique à l’aide de convolution de graphes. Des expériences étendues montrent que notre méthode surpasse les approches existantes et établit un nouveau état de l’art sur les jeux de données PMD (mesure F : 0,844) et MSD (mesure F : 0,889).