Ein effektiver Baseline für Robustheit gegenüber Verteilungsshift

Die Zurückhaltung bei der zuverlässigen Vorhersage, wenn Eingabekategorien auftreten, die von denen während des Trainings abweichen, ist eine zentrale Anforderung für die sichere Anwendung von Deep-Learning-Systemen. Obwohl diese Forderung einfach zu formulieren ist, stellt sie ein besonders herausforderndes Problem im Bereich des Deep Learnings dar, da Modelle in solchen Situationen oft übermäßig selbstsicher vorhersagen. In dieser Arbeit präsentieren wir einen einfachen, jedoch äußerst effektiven Ansatz zur Detektion von Ausreißern aus der Trainingsverteilung (Out-of-Distribution, OoD), der auf dem Prinzip der Vermeidung (Abstention) beruht: Sobald ein Beispiel aus einer bisher nicht gesehenen Klasse auftritt, soll das gewünschte Verhalten darin bestehen, auf eine Vorhersage zu verzichten. Unser Ansatz verwendet ein Netzwerk mit einer zusätzlichen Abstention-Klasse und wird auf einem datenverstärkten Datensatz trainiert, der eine grob zusammengestellte Menge mit einer großen Anzahl von OoD-Proben enthält, die alle mit der Etikettierung der Abstention-Klasse versehen sind. Das Modell lernt daraufhin, eine effektive Unterscheidung zwischen in-distribution- und out-of-distribution-Proben zu erlernen. Wir vergleichen diesen relativ einfachen Ansatz mit einer Vielzahl komplexerer Methoden, die sowohl für die OoD-Detektion als auch für die Unsicherheitsmodellierung im Deep Learning vorgeschlagen wurden, und zeigen empirisch dessen Wirksamkeit an einer Vielzahl von Benchmarks sowie verschiedener tiefer Architekturen für die Bilderkennung und Textklassifikation. In vielen Fällen übertrifft unser Ansatz bestehende Methoden deutlich. Angesichts der Einfachheit und Effektivität dieses Verfahrens schlagen wir vor, es künftig als neue, zusätzliche Baseline für Forschungsarbeiten in diesem Bereich zu etablieren.