Einzelne Schicht prädiktiver normalisierter Maximum-Likelihood für die Detektion von außerhalb der Verteilung liegenden Daten

Die Erkennung von außerhalb der Verteilung liegenden (out-of-distribution, OOD) Proben ist entscheidend für die Entwicklung maschineller Lernmodelle für kritische Sicherheitssysteme. Übliche Ansätze zur OOD-Erkennung setzen voraus, dass während des Trainings Zugriff auf einige OOD-Proben verfügbar ist, was in realen Anwendungsszenarien jedoch oft nicht der Fall ist. Stattdessen nutzen wir den sogenannten predictive normalized maximum likelihood (pNML)-Lerner, bei dem keine Annahmen über die zu testenden Eingaben getroffen werden. Wir leiten eine explizite Darstellung des pNML sowie seiner Verallgemeinerungsfehler, bezeichnet als Regret, für ein eingeschichtiges neuronales Netz (NN) her. Wir zeigen, dass dieser Lerner gut generalisiert, wenn (i) der Testvektor in einem Unterraum liegt, der von den Eigenvektoren zu den großen Eigenwerten der empirischen Korrelationsmatrix der Trainingsdaten aufgespannt wird, oder (ii) die Testprobe weit von der Entscheidungsgrenze entfernt ist. Darüber hinaus beschreiben wir, wie der abgeleitete pNML-Regret effizient auf beliebige vortrainierte tiefe neuronale Netze angewendet werden kann, indem wir die explizite pNML-Formel für die letzte Schicht verwenden, gefolgt von der Softmax-Funktion. Die Anwendung des abgeleiteten Regrets auf tiefe Netze erfordert weder zusätzliche einstellbare Parameter noch zusätzliches Datenmaterial. Wir evaluieren unseren Ansatz umfassend an 74 OOD-Erkennungsbenchmarks unter Verwendung von DenseNet-100, ResNet-34 und WideResNet-40, die mit CIFAR-100, CIFAR-10, SVHN und ImageNet-30 trainiert wurden, und zeigen eine signifikante Verbesserung von bis zu 15,6 % gegenüber jüngsten führenden Methoden.