Ein einfaches einheitliches Framework zur Erkennung von außerhalb der Verteilung liegenden Stichproben und feindlichen Angriffen

Die Erkennung von Testproben, die statistisch oder feindlich ausreichend weit von der Trainingsverteilung entfernt sind, ist eine grundlegende Voraussetzung für die Bereitstellung eines guten Klassifikators in vielen realen maschinellen Lernanwendungen. Tief neuronalen Netzen mit dem Softmax-Klassifikator ist jedoch bekannt, dass sie selbst bei solchen abnormen Proben stark überbewertete A-posteriori-Verteilungen erzeugen. In dieser Arbeit schlagen wir eine einfache, aber effektive Methode zur Erkennung beliebiger abnormer Proben vor, die auf jeden vorab trainierten Softmax-Neuralen Klassifikator anwendbar ist. Wir berechnen die klassenbedingten Gaußschen Verteilungen bezüglich der (niedrig- und hochstufigen) Merkmale der tiefen Modelle unter Gauß-Diskriminanzanalyse, was zu einem Konfidenzwert basierend auf dem Mahalanobis-Abstand führt. Während die meisten bisherigen Methoden entweder für die Erkennung von außerhalb der Verteilung liegenden Proben oder für feindliche Proben evaluiert wurden, aber nicht für beide gleichzeitig, erreicht die vorgeschlagene Methode in unseren Experimenten den aktuellen Stand der Technik sowohl im einen als auch im anderen Fall. Darüber hinaus haben wir festgestellt, dass unsere vorgeschlagene Methode in schwierigen Fällen robuster ist, z.B. wenn das Trainingsdatensatz rauschige Labels oder nur wenige Proben enthält. Schließlich zeigen wir, dass die vorgeschlagene Methode eine breitere Anwendung findet, indem wir sie auf inkrementelles Klassenlernen anwenden: Sobald außerhalb der Verteilung liegende Proben erkannt werden, kann unsere Klassifizierungsregel neue Klassen gut integrieren, ohne dass tiefere Modelle weiter trainiert werden müssen.