Einschuss-Segmentierung in der Unordnung

Wir befassen uns mit dem Problem der One-Shot-Segmentierung: das Finden und Segmentieren eines bisher unbekannten Objekts in einer komplexen Szene auf Grundlage eines einzigen Anweisungsbeispiels. Wir schlagen einen neuen Datensatz vor, den wir cluttered Omniglot nennen. Mit Hilfe einer Baseline-Architektur, die ein Siameses Einbettungsmodell für die Detektion mit einem U-Net für die Segmentierung kombiniert, zeigen wir, dass sich die Aufgabe bei steigendem Grad der Komplexität in der Szene zunehmend erschwert. Durch den Einsatz von Orakelmodellen, die auf verschiedene Mengen an Ground-Truth-Informationen zugreifen können, bewerten wir verschiedene Aspekte des Problems und demonstrieren, dass in dieser Art von visueller Suchaufgabe Detektion und Segmentierung zwei eng miteinander verwobene Probleme sind, deren Lösung sich gegenseitig ergänzt. Deshalb führen wir MaskNet ein, ein verbessertes Modell, das mehrere Kandidatenpositionen berücksichtigt, Segmentationsschläge generiert, um den Hintergrund zu maskieren, und unter den segmentierten Objekten auswählt. Unsere Ergebnisse deuten darauf hin, dass solche Bilderkennungsmodelle, die auf einer iterativen Verbesserung der Objektdetektion und Vordergrundsegmentierung basieren, eine Möglichkeit bieten könnten, hochkomplexe Szenen zu bewältigen.