Aufgabenalignierte, teilbewusste panoptische Segmentierung durch gemeinsame Objekt-Teil-Darstellungen

Teilbewusste panoptische Segmentierung (PPS) erfordert (a), dass jedes Vordergrundobjekt und jede Hintergrundregion in einem Bild segmentiert und klassifiziert werden, und (b), dass alle Teile innerhalb von Vordergrundobjekten segmentiert, klassifiziert und mit ihrem übergeordneten Objekt verknüpft werden. Bestehende Methoden gehen bei der PPS-Analyse durch getrennte Durchführung von objektbasierter und teilbasierter Segmentierung vor. Allerdings sind ihre teilbasierten Vorhersagen nicht mit einzelnen übergeordneten Objekten verknüpft. Daher ist ihr Lernziel nicht mit dem Ziel der PPS-Aufgabe ausgerichtet, was die Leistung der PPS beeinträchtigt. Um dies zu lösen und präzisere PPS-Vorhersagen zu ermöglichen, schlagen wir die task-alingierte teilbewusste panoptische Segmentierung (TAPPS) vor. Diese Methode verwendet eine Reihe gemeinsamer Abfragen, um (a) objektbasierte Segmente und (b) die teilbasierten Segmente innerhalb dieser gleichen Objekte gemeinsam vorherzusagen. Dadurch lernt TAPPS, teilbasierte Segmente vorherzusagen, die mit einzelnen übergeordneten Objekten verknüpft sind, wodurch das Lernziel mit dem Aufgabenziel ausgerichtet wird und TAPPS die gemeinsamen Objekt-Teil-Darstellungen nutzen kann. Mit Experimenten zeigen wir, dass TAPPS erheblich bessere Ergebnisse als Methoden erzielt, die Objekte und Teile getrennt vorhersagen, und neue Standarte für PPS-Ergebnisse setzt.