Segmentation d'instances en un seul coup

Nous abordons le problème de la segmentation d'instances en un seul coup (one-shot instance segmentation) : étant donné une image exemple d'une catégorie d'objets inédite et précédemment inconnue, identifier et segmenter tous les objets de cette catégorie au sein d'une scène complexe. Pour relever ce défi majeur, nous proposons Siamese Mask R-CNN. Cette méthode étend Mask R-CNN par une architecture Siamese qui encode à la fois l'image de référence et la scène, lui permettant ainsi de cibler la détection et la segmentation vers la catégorie de référence. Nous présentons des résultats empiriques sur MS Coco mettant en lumière les défis posés par le cadre en un seul coup (one-shot setting) : bien que le transfert des connaissances concernant la segmentation d'instances vers de nouvelles catégories d'objets fonctionne très bien, l'orientation du réseau de détection vers la catégorie de référence semble plus difficile. Notre travail fournit une première base solide pour la segmentation d'instances en un seul coup et espère inspirer des recherches ultérieures visant à développer des algorithmes d'analyse de scènes plus puissants et flexibles.Le code est disponible à l'adresse suivante : https://github.com/bethgelab/siamese-mask-rcnn