DenseHybrid: Hybride Anomalieerkennung für dichte Open-set-Erkennung

Anomalieerkennung kann entweder durch generatives Modellieren regulärer Trainingsdaten oder durch diskriminative Unterscheidung gegenüber negativen Trainingsdaten konzipiert werden. Diese beiden Ansätze weisen unterschiedliche Ausfallmodi auf. Daraus ergibt sich ein attraktives Forschungsziel für hybride Algorithmen. Leider erfordert die dichte Anomalieerkennung translationsäquivalenz und sehr hohe Eingabegrößen. Diese Anforderungen machen alle bisherigen hybriden Ansätze, soweit uns bekannt, unbrauchbar. Wir entwickeln daher einen neuen hybriden Algorithmus, der diskriminative Logits neu interpretiert als Logarithmus der unnormalisierten gemeinsamen Verteilung $\hat{p}(\mathbf{x}, \mathbf{y})$. Unser Modell basiert auf einer gemeinsamen konvolutionellen Repräsentation, aus der wir drei dichte Vorhersagen rekonstruieren: i) die geschlossene-Set-Klassenposterior $P(\mathbf{y}|\mathbf{x})$, ii) die Datensatzposterior $P(d_{in}|\mathbf{x})$ und iii) die unnormalisierte Datensicherheit $\hat{p}(\mathbf{x})$. Die letzten beiden Vorhersagen werden sowohl auf den standardmäßigen Trainingsdaten als auch auf einem generischen negativen Datensatz trainiert. Wir kombinieren diese beiden Vorhersagen zu einem hybriden Anomalie-Score, der eine dichte Offen-Set-Erkennung auf großen natürlichen Bildern ermöglicht. Wir entwerfen eine speziell angepasste Verlustfunktion für die Datensicherheit, um eine Rückpropagation durch die unzugängliche Normalisierungskonstante $Z(\theta)$ zu vermeiden. Experimente bewerten unsere Beiträge anhand etablierter Benchmarks für dichte Anomalieerkennung sowie hinsichtlich des open-mIoU – eines neuartigen Metrics zur Bewertung der Leistung bei dichter Offen-Set-Erkennung. Unser Ansatz erreicht trotz vernachlässigbaren zusätzlichen Rechenaufwands gegenüber der Standard-Semantischen Segmentierung den Stand der Technik.