Où est mon miroir ?

Les miroirs sont omniprésents dans notre vie quotidienne. Les systèmes de vision par ordinateur actuels ne prennent pas en compte les miroirs et peuvent donc être perturbés par le contenu reflété à l'intérieur d'un miroir, ce qui entraîne une dégradation importante de leurs performances. Cependant, séparer le contenu réel à l'extérieur du miroir du contenu reflété à l'intérieur est un problème complexe. Le défi principal est que les miroirs reflètent généralement des contenus similaires à leur environnement, rendant très difficile la distinction entre les deux. Dans cet article, nous présentons une nouvelle méthode pour segmenter les miroirs à partir d'une image d'entrée. À notre connaissance, c'est la première étude qui aborde le problème de segmentation des miroirs avec une approche computationnelle. Nous apportons les contributions suivantes :Premièrement, nous avons créé un grand ensemble de données de miroirs contenant des images de miroirs avec des masques annotés manuellement correspondants. Cet ensemble de données couvre une variété de scènes de la vie quotidienne et sera mis à disposition publiquement pour des recherches futures.Deuxièmement, nous proposons un nouveau réseau neuronal appelé MirrorNet (réseau pour la segmentation des miroirs), qui modélise à la fois les discontinuités sémantiques et les discontinuités de bas niveau en termes de couleur et de texture entre le contenu à l'intérieur et à l'extérieur des miroirs.Troisièmement, nous menons des expériences approfondies pour évaluer la méthode proposée et montrons qu'elle surpasse les baselines soigneusement sélectionnées provenant des méthodes d'état de l'art en détection et segmentation.