Diffusion zur Detektion von Ausreißern in Straßen-Szenen und darüber hinaus

In den letzten Jahren konzentrierte sich die Forschung zu Out-of-Distribution-(OoD)-Detektion für semantische Segmentierung hauptsächlich auf Straßen-Szenen – einen Bereich mit begrenzter semantischer Vielfalt. In dieser Arbeit stellen wir diese Beschränkung in Frage und erweitern das Anwendungsfeld dieser Aufgabe auf allgemeine natürliche Bilder. Dazu führen wir zwei Beiträge ein: 1. den ADE-OoD-Benchmark, der auf dem ADE20k-Datensatz basiert und Bilder aus vielfältigen Domänen mit hoher semantischer Vielfalt enthält, sowie 2. einen neuartigen Ansatz, der Diffusion-Score-Matching für die OoD-Detektion (DOoD) nutzt und robust gegenüber der erhöhten semantischen Vielfalt ist. Der ADE-OoD-Benchmark umfasst sowohl Innen- als auch Außenbilder, definiert 150 semantische Kategorien als In-Distribution und enthält eine Vielzahl von OoD-Objekten. Bei DOoD trainieren wir ein Diffusionsmodell mit MLP-Architektur auf semantischen In-Distribution-Embeddings und nutzen die Interpretation durch Score-Matching, um während der Inferenz pixelweise OoD-Scores zu berechnen. Auf gängigen Benchmarks für Straßen-Szenen erreicht DOoD Leistungen auf dem Niveau oder besser als die aktuell beste State-of-the-Art-Methode, ohne dass Ausreißer im Trainingsprozess verwendet werden oder Annahmen über die Datendomäne getroffen werden müssen. Auf ADE-OoD übertrifft DOoD bisherige Ansätze, lässt jedoch noch erheblichen Verbesserungsbedarf für zukünftige Arbeiten offen.