Forte: Ausreißer mittels Schätzung der Repräsentations-Typischkeitsfindung

Generative Modelle können heute photorealistische synthetische Daten erzeugen, die von den zur Trainingszeit verwendeten echten Daten praktisch nicht zu unterscheiden sind. Dies stellt eine erhebliche Weiterentwicklung gegenüber früheren Modellen dar, die zwar plausiblen Nachbildungen der Trainingsdaten entsprechen konnten, diese jedoch durch menschliche Beurteilung visuell von den Originaldaten unterscheiden ließen. Neuere Arbeiten zur OOD-Detektion (Out-of-Distribution-Detektion) haben Zweifel daran geweckt, dass Generativmodell-Wahrscheinlichkeiten optimale OOD-Detektoren darstellen, aufgrund von Problemen wie der Fehlschätzung der Wahrscheinlichkeit, der Entropie im Generierungsprozess und der Typizität. Wir vermuten, dass auch generative OOD-Detektoren versagen, weil ihre Modelle sich auf die Pixelwerte konzentrieren, anstatt auf den semantischen Inhalt der Daten. Dies führt zu Fehlern bei nahezu OOD-Daten, bei denen die Pixelstrukturen zwar ähnlich sein mögen, der Informationsgehalt jedoch erheblich unterschiedlich ist. Wir vermuten, dass die Schätzung typischer Mengen mittels selbstüberwachter Lerner zu besseren OOD-Detektoren führt. Wir stellen einen neuartigen Ansatz vor, der Darstellungslernen sowie informative Zusammenfassungsstatistiken auf Basis von Mannigfaltigkeitsabschätzungen nutzt, um alle oben genannten Probleme zu adressieren. Unser Verfahren übertrifft andere unüberwachte Ansätze und erreicht state-of-the-art-Leistung auf etablierten, anspruchsvollen Benchmark-Aufgaben sowie auf neuen Aufgaben zur Erkennung synthetischer Daten.