AdaptIS: Adaptive Instance Selection Network

Wir präsentieren eine adaptive Instanz-Auswahl-Netzarchitektur für klassenunabhängige Instanzsegmentierung. Gegeben ein Eingabebild und ein Punkt $(x, y)$, generiert das Netz eine Maske für das Objekt, das sich an der Position $(x, y)$ befindet. Das Netz passt sich an den Eingabepunkt mithilfe von AdaIN-Schichten an, wodurch es unterschiedliche Masken für verschiedene Objekte auf derselben Bildfläche erzeugt. AdaptIS generiert pixelgenaue Objektmasken und segmentiert daher Objekte komplexer Form oder stark verdeckter Objekte präzise. AdaptIS kann problemlos mit einem herkömmlichen semantischen Segmentierungspipeline kombiniert werden, um Panoptic-Segmentierung durchzuführen. Um die Grundidee zu veranschaulichen, führen wir Experimente an einem anspruchsvollen Spielzeugproblem mit komplexen Verdeckungen durch. Anschließend evaluieren wir die Methode umfassend an Benchmark-Datenmengen für Panoptic-Segmentierung. Wir erreichen state-of-the-art Ergebnisse auf Cityscapes und Mapillary, selbst ohne Vortraining auf COCO, und erzielen wettbewerbsfähige Ergebnisse auf der anspruchsvollen COCO-Datensammlung. Der Quellcode der Methode sowie die trainierten Modelle sind unter https://github.com/saic-vul/adaptis verfügbar.