Synthetisieren und vergleichen: Erkennung von Fehlern und Anomalien für die semantische Segmentierung

Die Fähigkeit, Ausfälle und Anomalien zu erkennen, stellt eine grundlegende Anforderung für den Aufbau zuverlässiger Systeme für Anwendungen im Bereich des maschinellen Sehens dar, insbesondere für sicherheitskritische Anwendungen der semantischen Segmentierung wie autonome Fahrsysteme und medizinische Bildanalyse. In diesem Artikel untersuchen wir systematisch das Erkennen von Ausfällen und Anomalien bei der semantischen Segmentierung und stellen einen einheitlichen Rahmen vor, der aus zwei Modulen besteht und diese beiden verwandten Probleme adressiert. Das erste Modul ist ein Bildsynthesemodul, das aus einer Segmentierungslayout-Karte ein synthetisches Bild generiert, während das zweite Modul einen Vergleich zwischen dem synthetischen Bild und dem Eingabebild durchführt, um deren Unterschiede zu berechnen. Wir validieren unseren Rahmen an drei anspruchsvollen Datensätzen und erreichen im Vergleich zu den bisherigen State-of-the-Art-Methoden erhebliche Verbesserungen: eine Steigerung um 6 % im AUPR-Error auf Cityscapes, um 7 % bei der Pearson-Korrelation bei der Pankreastumorsegmentierung im Medical Segmentation Decathlon (MSD) sowie eine Verbesserung um 20 % im AUPR bei der Anomalie-Segmentierung auf dem StreetHazards-Datensatz.