Gleichzeitige Detektion und Segmentierung

Unser Ziel ist es, alle Instanzen einer Kategorie in einem Bild zu erkennen und für jede Instanz die Pixel zu markieren, die ihr zugehören. Diese Aufgabe nennen wir Simultane Erkennung und Segmentierung (Simultaneous Detection and Segmentation, SDS). Im Gegensatz zur klassischen Bounding-Box-Erkennung erfordert SDS eine Segmentierung und nicht nur ein Rechteck. Im Gegensatz zur klassischen semantischen Segmentierung benötigen wir einzelne Objektinstanzen. Wir bauen auf jüngsten Arbeiten auf, die Faltungsneuronale Netze verwenden, um kategorieunabhängige Regionenvorschläge zu klassifizieren (Region-based Convolutional Neural Networks, R-CNN [16]), und führen eine neuartige Architektur ein, die speziell für SDS angepasst ist. Anschließend nutzen wir kategoriespezifische, top-down Figure-Ground-Vorhersagen, um unsere bottom-up Vorschläge zu verfeinern. Wir zeigen einen Leistungsanstieg von 7 Punkten (16 % relativ) im Vergleich zu unseren Baseline-Methoden bei der SDS-Aufgabe, einen Anstieg von 5 Punkten (10 % relativ) im Vergleich zum aktuellen Stand der Technik bei der semantischen Segmentierung sowie Spitzenleistungen bei der Objekterkennung. Schließlich stellen wir diagnostische Werkzeuge bereit, die die Leistung analysieren und Richtlinien für zukünftige Forschungsarbeiten liefern.