Nichtparametrische Ausreißersynthese

Die Erkennung von Daten außerhalb der Trainingsverteilung (Out-of-Distribution, OOD) ist unverzichtbar für die sichere Einsetzung von maschinellen Lernmodellen in realen Anwendungen. Ein zentrales Problem besteht darin, dass Modelle keine Überwachungssignale aus unbekannten Daten erhalten und daher übermäßige Sicherheit bei Vorhersagen für OOD-Daten zeigen können. Neuere Ansätze zur Synthese von Ausreißern modellieren den Merkmalsraum als parametrische Gaussverteilung – eine starke und restriktive Annahme, die in der Praxis möglicherweise nicht zutrifft. In diesem Paper stellen wir einen neuen Ansatz, Non-Parametric Outlier Synthesis (NPOS), vor, der künstliche OOD-Trainingsdaten erzeugt und das Lernen einer zuverlässigen Trennfläche zwischen In-Distribution (ID) und OOD-Daten unterstützt. Wichtig ist, dass unsere vorgeschlagene Synthesemethode keinerlei Verteilungsannahme bezüglich der ID-Embeddings trifft, wodurch eine hohe Flexibilität und Allgemeingültigkeit gewährleistet wird. Wir zeigen, dass unsere Synthesemethode mathematisch als ein Ablehnungs-Sampling-Verfahren interpretiert werden kann. Umfangreiche Experimente belegen, dass NPOS eine überlegene OOD-Erkennungsleistung erzielt und die konkurrierenden Ansätze signifikant übertrifft. Der Quellcode ist öffentlich unter https://github.com/deeplearning-wisc/npos verfügbar.