ReAct: Detektion von Außerhalb-Verteilung-Daten mit korrigierten Aktivierungen

Die Detektion von außerhalb der Verteilung liegenden (out-of-distribution, OOD) Daten hat in letzter Zeit erhebliche Aufmerksamkeit erhalten, da sie für die sichere Anwendung von neuronalen Netzwerken von praktischer Bedeutung ist. Eine zentrale Herausforderung besteht darin, dass Modelle häufig hochgradig zuversichtliche Vorhersagen für OOD-Daten abgeben, was das zentrale Prinzip der OOD-Detektion untergräbt, nach dem das Modell nur für Daten aus der Trainingsverteilung zuverlässig zuverlässig sein sollte. In dieser Arbeit stellen wir ReAct vor – eine einfache und effektive Technik zur Reduktion der Überzuversichtlichkeit von Modellen auf OOD-Daten. Unsere Methode basiert auf einer neuen Analyse der internen Aktivierungen neuronaler Netzwerke, die charakteristische, deutlich unterscheidbare Muster für OOD-Verteilungen aufweisen. Unser Ansatz zeigt sich in der Lage, effektiv auf verschiedene Netzwerkarchitekturen und verschiedene OOD-Detektionsmetriken zu generalisieren. Wir demonstrieren empirisch, dass ReAct auf einer umfassenden Reihe von Benchmark-Datensätzen konkurrenzfähige Detektionsleistung erzielt, und liefern eine theoretische Erklärung für die Wirksamkeit unserer Methode. Auf dem ImageNet-Benchmark reduziert ReAct die Falsch-Positiv-Rate bei 95 % Trennschwellen (FPR95) im Vergleich zur bisher besten Methode um 25,05 %.