Outlier-Exposure mit Konfidenzsteuerung für die Erkennung von Out-of-Distribution-Beispielen

Tiefe neuronale Netze haben in den letzten Jahren bei Klassifizierungsaufgaben große Erfolge erzielt. Ein wesentliches Problem auf dem Weg zur künstlichen Intelligenz ist jedoch die Unfähigkeit von neuronalen Netzen, Stichproben aus neuen Klassenverteilungen zuverlässig zu erkennen. Daher gehen die meisten existierenden Klassifizierungsalgorithmen davon aus, dass alle Klassen bereits vor dem Trainingsprozess bekannt sind. In dieser Arbeit schlagen wir eine Methodik vor, mit der ein neuronales Netzwerk effizient außerhalb der Verteilung (Out-of-Distribution, OOD) liegende Beispiele erkennen kann, ohne dabei seine Klassifizierungsgenauigkeit für Testbeispiele aus bekannten Klassen erheblich zu beeinträchtigen. Wir stellen eine neuartige Verlustfunktion vor, die zu einer neuen Methode führt: Outlier-Exposure mit Konfidenzkontrolle (OECC). Diese Methode erzielt überlegene Ergebnisse in der OOD-Erkennung sowohl bei Bild- als auch bei Textklassifizierungsaufgaben, ohne Zugang zu OOD-Beispielen zu benötigen. Darüber hinaus zeigen wir experimentell, dass die Kombination von OECC mit den neuesten post-trainingsspezifischen OOD-Erkennungsverfahren, wie dem Mahalanobis-Detektor (MD) und den Gram-Matrizenmethoden (GM), ihre Leistung in der OOD-Erkennung weiter verbessert. Dies demonstriert das Potenzial der Kombination von Trainings- und Post-Trainingsmethoden für die OOD-Erkennung.