Gleichzeitige semantische Segmentierung und Ausreißererkennung bei Domänenverschiebung

Der jüngste Erfolg bei realistischen Straßendatensätzen hat das Interesse an der Untersuchung robuster Leistung in praktischen Anwendungen gesteigert. Ein Hauptproblem, das bisher nicht gelöst ist, besteht darin, Bildinhalte zu identifizieren, die mit einem gegebenen Inferenz-Engine nicht zuverlässig erkannt werden können. Wir untersuchen daher Ansätze, um zusammen mit der primären Aufgabe durch eine einzelne Vorwärtsdurchlauf (forward pass) eine dichte Ausreißerkarte (outlier map) zu generieren, indem wir auf geteilte Faltungseigenschaften (shared convolutional features) zurückgreifen. Als primäre Aufgabe betrachten wir die semantische Segmentierung und führen umfangreiche Validierungen durch auf WildDash val (Inliners), LSUN val (Ausreißer) und eingefügten Objekten aus Pascal VOC 2007 (Ausreißer). Die beste Validierungsleistung erreichen wir, indem wir das Modell trainieren, Inliners von eingefügtem ImageNet-1k-Inhalt zu unterscheiden, obwohl ImageNet-1k viele Straßendatenpixel enthält und zumindest nominal nicht die gesamte Vielfalt der visuellen Welt berücksichtigt. Das vorgeschlagene Modell mit zwei Köpfen (two-head model) erzielt vergleichbare Ergebnisse wie das C-Klassen-Multiklassenmodell, das trainiert wurde, in Ausreißern eine gleichmäßige Verteilung vorherzusagen, während es gleichzeitig mehrere andere validierte Ansätze übertrifft. Wir evaluieren unsere beiden besten Modelle auf dem WildDash-Testdatensatz und setzen einen neuen Stand der Technik im WildDash-Benchmark.