Merkmalsraum-Singularität für die Detektion außerhalb der Verteilung

Die Erkennung von außerhalb der Verteilung liegenden (Out-of-Distribution, OoD) Daten ist entscheidend für die Entwicklung sicherer künstlicher Intelligenz-Systeme. Derzeitige OoD-Erkennungsmethoden erfüllen jedoch weiterhin nicht die Leistungsanforderungen für eine praktische Anwendung. In diesem Paper stellen wir einen einfachen, jedoch effektiven Algorithmus vor, der auf einer neuen Beobachtung basiert: In einem trainierten neuronalen Netzwerk konzentrieren sich OoD-Proben mit beschränktem Normwert stark im Merkmalsraum. Wir bezeichnen den Zentrumspunkt dieser OoD-Merkmale als Feature Space Singularity (FSS) und definieren die Distanz eines Merkmalsvektors zur FSS als FSSD (Feature Space Singularity Distance). OoD-Proben können dann durch Anwendung einer Schwellenwertbedingung auf die FSSD erkannt werden. Unsere Analyse dieses Phänomens erklärt, warum unser Algorithmus funktioniert. Wir zeigen, dass unser Ansatz auf verschiedenen OoD-Erkennungsbenchmarks eine state-of-the-art-Leistung erreicht. Zudem weist die FSSD eine hohe Robustheit gegenüber geringfügigen Verzerrungen in den Testdaten auf und kann durch Ensembling weiter verbessert werden. Diese Eigenschaften machen die FSSD zu einem vielversprechenden Ansatz für den Einsatz in realen Anwendungen. Den Quellcode stellen wir unter \url{https://github.com/megvii-research/FSSD_OoD_Detection} zur Verfügung.