Pixelweise Anomalieerkennung in komplexen Fahrszenen

Die Unfähigkeit state-of-the-art-Methoden der semantischen Segmentierung, Anomalien zu erkennen, behindert deren Einsatz in sicherheitskritischen und komplexen Anwendungen wie der autonomen Fahrzeugsteuerung. Neuere Ansätze konzentrieren sich entweder darauf, die Unsicherheit der Segmentierung auszunutzen, um anomale Bereiche zu identifizieren, oder darauf, das Bild aus der semantischen Labelkarte neu zu synthetisieren, um Abweichungen gegenüber dem Eingabebild zu finden. In dieser Arbeit zeigen wir, dass diese beiden Methoden komplementäre Informationen enthalten und kombiniert werden können, um robuste Vorhersagen für die Anomalie-Segmentierung zu erzielen. Wir präsentieren einen pixelweisen Anomalieerkennungsrahmen, der Unsicherheitskarten nutzt, um bestehende Neusynthese-Methoden bei der Identifizierung von Unterschieden zwischen Eingabe- und generiertem Bild zu überbieten. Unser Ansatz fungiert als allgemeiner Rahmen um bereits trainierte Segmentierungsnetzwerke herum und ermöglicht die Anomalieerkennung ohne die Segmentierungsgenauigkeit zu beeinträchtigen, während er alle vergleichbaren Methoden deutlich übertrifft. Die Top-2-Leistung über eine Vielzahl unterschiedlicher Anomaliedatensätze belegt die Robustheit unseres Ansatzes gegenüber verschiedenen Arten von Anomalien.