RbA: Segmentierung unbekannter Regionen, die von allen abgelehnt werden

Standardsemantische Segmentierungsmodelle verdanken ihren Erfolg sorgfältig zusammengestellten Datensätzen mit einer festen Menge semantischer Kategorien und berücksichtigen nicht die Möglichkeit, unbekannte Objekte aus neuen Kategorien zu identifizieren. Bestehende Ansätze zur Ausreißererkennung leiden unter mangelnder Glätte und Objektzentriertheit ihrer Vorhersagen aufgrund der Beschränkungen des Pixel-gegen-Pixel-Klassifikationsparadigmas. Zudem beeinträchtigt zusätzliche Trainingsphase zur Ausreißererkennung die Leistungsfähigkeit bekannter Klassen. In diesem Paper untersuchen wir ein alternatives Paradigma basierend auf Bereichs-Klassifikation, um unbekannte Objekte besser zu segmentieren. Wir zeigen, dass die Objekt-Abfragen in der Masken-Klassifikation tendenziell wie ein „one-vs-all“-Klassifikator agieren. Auf dieser Erkenntnis aufbauend schlagen wir eine neuartige Ausreißer-Score-Funktion namens RbA vor, indem wir das Ereignis, ein Ausreißer zu sein, als Ablehnung durch alle bekannten Klassen definieren. Unsere umfangreichen Experimente zeigen, dass die Masken-Klassifikation die Leistung bestehender Methoden zur Ausreißererkennung verbessert, wobei die besten Ergebnisse mit dem vorgeschlagenen RbA erzielt werden. Außerdem stellen wir ein Optimierungsziel vor, um RbA mit minimaler Ausreißer-Supervision zu trainieren. Eine weitere Feinabstimmung mit Ausreißern verbessert die Leistung bei unbekannten Objekten, ohne – im Gegensatz zu früheren Ansätzen – die Leistung für bekannte Objekte zu verschlechtern.