Segmentierung bekannter Objekte und unbekannter Unbekannter ohne vorherige Kenntnis

Panoptic-Segmentation-Verfahren weisen jedem Pixel der Eingabe eine bekannte Klasse zu. Selbst bei state-of-the-art-Ansätzen führt dies zwangsläufig zu Entscheidungen, die systematisch zu falschen Vorhersagen für Objekte außerhalb der Trainingskategorien führen. In sicherheitskritischen Anwendungen ist jedoch Robustheit gegenüber Ausreißern und Randfällen entscheidend, um gefährliche Konsequenzen zu vermeiden. Da reale Datensätze nicht ausreichend Datenpunkte enthalten, um die lange Schwanzverteilung der zugrundeliegenden Verteilung angemessen abzubilden, müssen Modelle in der Lage sein, auch unbekannte und unerwartete Szenarien zu bewältigen. Frühere Methoden adressierten dies, indem sie bereits gesehene, aber unlabeled Objekte neu identifizierten. In dieser Arbeit schlagen wir den notwendigen Schritt vor, die Segmentierung durch einen neuen Ansatz zu erweitern, den wir „holistische Segmentierung“ (holistic segmentation) nennen. Holistische Segmentierung zielt darauf ab, Objekte unbekannter, bisher nicht gesehener Klassen als einzelne Instanzen zu erkennen und zu trennen, ohne vorherige Kenntnisse über diese Klassen zu besitzen, während gleichzeitig eine panoptische Segmentierung bekannter Klassen durchgeführt wird. Wir lösen dieses neue Problem mit U3HS, das unbekannte Objekte als Regionen mit hoher Unsicherheit identifiziert und deren instanzbewusste Embeddings in einzelne Objekte clustert. Auf diese Weise wird U3HS erstmals in der panoptischen Segmentierung mit unbekannten Objekten trainiert, ohne dass unbekannte Klassen im Trainingsprozess berücksichtigt werden müssen – dadurch werden Annahmen minimiert und die Bedingungen so unbeschränkt wie möglich gehalten, wie sie in realen Szenarien vorliegen. Ausführliche Experimente auf öffentlichen Datensätzen wie MS COCO, Cityscapes und Lost&Found belegen die Wirksamkeit von U3HS für diesen neuen, herausfordernden und annahmenfreien Ansatz, den wir holistische Segmentierung nennen. Projektseite: https://holisticseg.github.io.