RankFeat: Rank-1-Funktionsentfernung für die Detektion von außerhalb der Verteilung liegender Daten

Die Aufgabe der Out-of-Distribution-(OOD-)Detektion ist entscheidend für die Einsetzung von maschinellen Lernmodellen in realen Anwendungen. In diesem Paper beobachten wir, dass die Singulärwertverteilungen von In-Distribution-(ID-) und OOD-Features erheblich voneinander abweichen: Die OOD-Feature-Matrix weist tendenziell einen größeren dominierenden Singulärwert auf als die ID-Feature-Matrix, und die Klassenvorhersagen für OOD-Proben werden maßgeblich durch diesen Wert bestimmt. Diese Beobachtung motiviert uns, \texttt{RankFeat} vorzustellen, eine einfache, jedoch wirksame \texttt{post hoc}-Methode zur OOD-Detektion, bei der die Rang-1-Matrix, bestehend aus dem größten Singulärwert und den zugehörigen Singulärvektoren, aus dem hochstufigen Feature (\emph{d.h.} $\mathbf{X}{-} \mathbf{s}{1}\mathbf{u}{1}\mathbf{v}_{1}^{T}$) entfernt wird. \texttt{RankFeat} erreicht eine \emph{Stand der Technik}-Leistung und senkt die durchschnittliche Falsch-Positiv-Rate (FPR95) im Vergleich zur bisher besten Methode um 17,90 %. Um die empirischen Ergebnisse zu untermauern, werden umfangreiche Ablationsstudien und umfassende theoretische Analysen vorgestellt.